我浏览了下网上关于怎么Python爬虫入门的文章，发现有的还在教人用urllib来发送http请求，这真是有点误人子弟了。本文也不提倡刚开始去学习第三方爬虫框架，我想把要学习的知识简化一些，让入门更快速，更专注。Python爬虫入门：技能真要说Python爬虫需要具备什么知识，那就是你得会Python，哈哈。其他的知识就是你能熟练运用Python的几个第三方库，当然你具备一点htmljavascriptcsshttp协议可以提高你的解决问题的效率，但这是一
系统 2019-09-27 17:52:27 2088
随着脚本复杂程度增加，配置文件成了必不可少。之前一直使用json文件，当作配置文件。比较之下，configparser库更加适合。下述文件为一个简单的configparser库的配置文件config.ini[testdb]db_port=3306db_host=127.0.0.1db_user=rootdb_passwd=123456#remark[zhfx]target="zy-zhfx"targets=["zy-zhfx"]num=3上述方括号内的[]
系统 2019-09-27 17:52:13 2088
缘由日常工作中经常遇到类似的问题：把某个服务器上的某些指定的表同步到另外一台服务器。类似需求用SSIS或者其他ETL工作很容易实现，比如用SSIS的话，就会会存在相当一部分反复的手工操作。建源的数据库信息，目标的数据库信息，如果是多个表，需要一个一个地拉source和target，然后一个一个地mapping，然后运行实现数据同步。然后很可能，这个workflow使用也就这么一次，就寿终正寝了，却一样要浪费时间去做这个ETL。快速数据同步实现于是在想，可不
系统 2019-09-27 17:52:07 2088
之前学习C语言的时候，语法之类的都不是很懂，但是已经知道3个情况---流程1.顺序编写（一步一步下去）执行按照上到下；2.判断编写。（就是如果符合什么条件，就做什么。。。。）3.循环编写。（符合特定条件，进行重复的事情）###到了python，我们上一个课，说了if，这里说循环；你不是要问顺序不说吗？自己脑补一下（不需要理会任何条件的，一个个代码执行下去，不是顺序？）for循环和while循环--------------------------------
系统 2019-09-27 17:51:03 2088
fromhttps://blog.csdn.net/mighty13/article/details/78147357Python处理时间和时间戳的内置模块就有time，和datetime两个，本文先说time模块。关于时间戳的几个概念时间戳，根据1970年1月1日00:00:00开始按秒计算的偏移量。时间元组（struct_time），包含9个元素。time.struct_time(tm_year=2017,tm_mon=10,tm_mday=1,tm_
系统 2019-09-27 17:50:56 2088
蟒蛇通过硒爬取数据是很多突破封锁的有效途径。但在使用硒中会遇到很多问题，本文就通过一问一答的形式来通熟易懂的普及如何通过硒执行JavaScript的程序，进而获取动态执行后的网页。蟒蛇爬虫编程：用硒执行JavaScript的出错了，该咋改？问题：小王开始学习Python的爬虫编程了，仿佛整个互联网的数据都快被他纳入囊中了。今天，他又试图完成一个高难度动作，他想让硒中抓取到以下HTML后，并自动执行JS脚本，模仿鼠标自动执行一个点击动作。但令他很失望的是，居
系统 2019-09-27 17:50:47 2088
环境需求最低硬件配置：1核CPU，1G内存（1+1）提示：如果你的应用较多，而主机节点的硬件配置较低，建议在部署节点时开通虚拟虚拟内存；生产环境建议使用2G或以上内存；推荐安装系统：Ubuntu-16.04、Ubuntu-18.04、CentOS7.X、Debian9X的64位的纯净的操作系统；URLOS安装curl-LOwww.urlos.com/iu&&shiupython3网站环境安装流程登录URLOS系统后台，在应用市场中搜索“python3”，找
系统 2019-09-27 17:50:40 2088
习题1：读入文件pmi_days.csv，完成以下操作：1.统计质量等级对应的天数，例如：优：5天良：3天中度污染：2天2.找出PMI2.5的最大值和最小值，分别指出是哪一天。importpandasimportnumpyfile=open(r"pmi_days.csv")df=pandas.read_csv(file)date=df.groupby('质量等级')excellent=dict([xforxindate])['优']good=dict([x
系统 2019-09-27 17:50:40 2088
如下所示：#!/usr/bin/envpython3#-*-coding:utf-8-*-importsqlite3conn=sqlite3.connect('test.db')#创建一个Cursor:cursor=conn.cursor()#查询记录：conn=sqlite3.connect('calendar.db')cursor=conn.cursor()#执行查询语句:cursor.execute('select*fromperpetualCale
系统 2019-09-27 17:50:18 2088
Pandas类似R语言中的数据框(DataFrame),Pandas基于Numpy,但是对于数据框结构的处理比Numpy要来的容易。1.Pandas的基本数据结构和使用Pandas有两个主要的数据结构：Series和DataFrame。Series类似Numpy中的一维数组，DataFrame则是使用较多的多维表格数据结构。Series的创建>>>importnumpyasnp>>>importpandasaspd>>>s=pd.Series([1,2,3
系统 2019-09-27 17:50:11 2088
