综述本系列文档用于对Python爬虫技术的学习进行记录总结。Python版本是3.7.4urllib库介绍它是Python内置的HTTP请求库，也就是说我们不需要额外安装即可使用，它包含四个模块(主要对前三个模块进行学习)：request:它是最基本的HTTP请求模块，我们可以用它来模拟发送一请求，就像在浏览器里输入网址然后敲击回车一样，只需要给库方法传入URL还有额外的参数，就可以模拟实现这个过程了。error:异常处理模块，如果出现请求错误，我们可以捕
系统 2019-09-27 17:54:27 2018
运营：“活动参与人数那么少，肯定是推广渠道不行”市场：“PV和UV都很高，最后转化这么低，运营是不是有环节没做好？”产品：“我觉得这个功能这样改绝对能提升用户留存！所以这个需求必须要实现”程序员：“怎么证明这是有效需求，我不要你觉得...”如果各位在职场中有和同事argue的经历，凭猜想定位问题，彼此谁都说服不了谁，这个时候就要丢出杀手锏——数据。不仅要拿数据，还要用数据，用数据分析每个环节，定位具体问题，用异常数据证明问题所在，用合理数据推测活动效果。拥
系统 2019-09-27 17:53:44 2018
我浏览了下网上关于怎么Python爬虫入门的文章，发现有的还在教人用urllib来发送http请求，这真是有点误人子弟了。本文也不提倡刚开始去学习第三方爬虫框架，我想把要学习的知识简化一些，让入门更快速，更专注。Python爬虫入门：技能真要说Python爬虫需要具备什么知识，那就是你得会Python，哈哈。其他的知识就是你能熟练运用Python的几个第三方库，当然你具备一点htmljavascriptcsshttp协议可以提高你的解决问题的效率，但这是一
系统 2019-09-27 17:52:27 2018
程序说明：本程序实现将开发程序服务器中的打包文件通过该脚本上传到正式生产环境（注：生产环境和开发环境不互通）程序基本思路：将开发环境中的程序包拷贝到本地堡垒机将程序包进行解压获得解压后的文件通同步到生产服务器上主要知识点：python库os.system()的基本使用利用python调用xshell命令程序使用方法：pythonaddline.py开发主机ip程序包目标主机ip上传目录上传编号如：pythonaddline.py240/home/shaoj
系统 2019-09-27 17:52:05 2018
这次代码主要是实现列表的排序，使用sort函数实现，sort函数是对列表中的元素按照特定顺序进行排序，默认reverse，为false，从小到大排序，如果指定reverse=True,从大到小。语法格式：l.sort()，希望对你们有所帮助第一步：先打开我们的pycharm软件，然后新建一个python文件。“file”，“new”，“pythonfile”第二步：新建好我们的python文件之后，在我们的编辑页面输入以下代码：l=[2,1,4,3]l.s
系统 2019-09-27 17:51:56 2018
目录条件判断if循环for...in...whilebreakcontinue继"Python学习之路二"：条件判断if比如，输入用户年龄，根据年龄打印不同的内容，在Python程序中，用if语句实现：>>>age=18>>>ifage>=18:print("yourageis",age)print("adult")yourageis18adult>>>根据Python的缩进规则，如果if语句判断是True，就把缩进的两行print语句执行了，否则，什么也
系统 2019-09-27 17:51:22 2018
一、定义函数def函数名():函数体代码例：#定义函数defemail():print('sendemail')#调用执行函数email()二、函数的返回值defemail():print("sendemail")return"发送成功"#没有return，默认返回Noneret=email()#函数return后面是什么值，ret等于返回值print(ret)注意：一旦遇到return,函数内部return以下的代码不再执行。三、函数的普通参数defem
系统 2019-09-27 17:51:12 2018
在用BeautifulSoup进行抓取页面的时候，会各种各样的编码错误。可以通过在beautifulsoup中指定字符编码，解决问题。复制代码代码如下:importurllib2fromBeautifulSoupimportBeautifulSouppage=urllib2.urlopen('http://www.163.com');soup=BeautifulSoup(page,from_encoding="gb2312")printsoup.origi
系统 2019-09-27 17:51:09 2018
运行本示例前，请确保chrome和chromedriver版本一致fromseleniumimportwebdriverimporttime#调用Chromdriver驱动driver=webdriver.Chrome()#打开百度页面driver.get("https://www.baidu.com")#在百度页面停留3秒time.sleep(3)#关闭浏览器driver.quit()附：chrome和chromedriver各版本下载地址https:/
系统 2019-09-27 17:50:53 2018
蟒蛇通过硒爬取数据是很多突破封锁的有效途径。但在使用硒中会遇到很多问题，本文就通过一问一答的形式来通熟易懂的普及如何通过硒执行JavaScript的程序，进而获取动态执行后的网页。蟒蛇爬虫编程：用硒执行JavaScript的出错了，该咋改？问题：小王开始学习Python的爬虫编程了，仿佛整个互联网的数据都快被他纳入囊中了。今天，他又试图完成一个高难度动作，他想让硒中抓取到以下HTML后，并自动执行JS脚本，模仿鼠标自动执行一个点击动作。但令他很失望的是，居
系统 2019-09-27 17:50:47 2018
