众所周知python的拿手好戏就是爬虫抓取数据，性能优秀，抓取时间快，消耗低，这是python的优势。学会了爬虫后那我们就可以抓取竞争对手的数据，可以对数据进行分析，或者拿来使用（作者不赞成这样做哦）。最重要是对数据进行分析，这样对我们的运营自己的产品，提高用户的新增或留存都是很有帮助的，正所谓现在是大数据年代，没有数据我们也能利用别人的数据。那要怎样才能更好去学习python爬虫呢？今天推荐一本最新使用python3的书籍，值得阅读。《Python3网络
系统 2019-09-27 17:47:38 2106
还是分析一下大体的流程：首先还是Chrome浏览器抓包分析元素，这是网址：https://www.douyu.com/directory/all发现所有房间的信息都是保存在一个无序列表中的li中，所以我们可以先获取一个装有li的element对象的列表，然后在对每个element逐一操作分析斗鱼的翻页，有一个下一页按钮，是个li，class="dy-Pagination-item-custom"，但是当烦到最后一页的时候，class="dy-Paginat
系统 2019-09-27 17:47:21 2106
上面的博客把基本的HTML解析库已经说完了，这次我们来给予几个实战的项目。这次主要用Requests库+正则表达式来解析HTML。项目一：爬取猫眼电影TOP100信息代码地址：https://gitee.com/dwyui/maoyan-Requests.git项目二：美食爬取（包含多层爬取）代码地址：https://gitee.com/dwyui/meishi_Requests.git
系统 2019-09-27 17:47:06 2106
超如果你急需一个简单的WebServer，但你又不想去下载并安装那些复杂的HTTP服务程序，比如：Apache，ISS等。那么，Python可能帮助你。使用Python可以完成一个简单的内建HTTP服务器。于是，你可以把你的目录和文件都以HTTP的方式展示出来。佻只需要干一件事情，那就是安装一个Python。实际上来说，这是一个可以用来共享文件的非常有用的方式。实现一个微型的HTTP服务程序来说是很简单的事情，在Python下，只需要一个命令行。下面是这个
系统 2019-09-27 17:47:00 2106
地址：https://passport.bilibili.com/login左图事完整验证码图，右图是有缺口的验证码图步骤：1.准备bilibili账号2.工具：pycharmseleniumchromedriverPIL3.破解思路：找到完整验证码和有缺口的验证码图片，然后计算缺口坐标，再利用selenium移动按钮到指定位置,齐活步骤代码如下：先导入需要的包和库fromseleniumimportwebdriverfromselenium.webdri
系统 2019-09-27 17:46:44 2106
前期准备（烦）装好python传送门！去欧洲中心申请一个账号传送自己看着申请吧，可能要翻墙申请Python的前期配置欧洲中心自带教程传送门简单来说，就是用python链接欧洲中心的api接口调用并下载数据所以前期配置分两步1、让电脑保留你的登录用户信息，并且可以让Python识别、使用2、Python安装一个用于调用欧洲中心api接口的库下面介绍详细步骤第一步获取ECMWF的Key首先登录欧洲中心官网然后上一个传送门就变成这样(我打了马赛克)你可以得到灰色
系统 2019-09-27 17:46:19 2106
本节内容paramiko模块（基于SSH用于连接远程服务器并执行相关操作）paramiko模块SSHClient用于连接远程服务器并执行基本命令基于用户名密码连接#Author:yyqianimportparamiko#创建SSH对象ssh=paramiko.SSHClient()#允许连接不在know_hosts文件中的主机ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())#连接服务器ssh
系统 2019-09-27 17:46:15 2106
为了加快网站的加载速度，我们通常要多js和css进行压缩处理。这些js和css的压缩工作如果都手动处理，费时费力。DjangoCompressor可以实现js/css的自动压缩。DjangoCompressor在易用性方面做的非常好，按照文档做简单的设置后就可以正常工作。强烈建议大家去将文档完整的看一遍（文档很短）。使用的时候，只需要将css/js放到compress标签中DjangoCompressor即可自动进行处理。在debug模式时，DjangoC
系统 2019-09-27 17:46:13 2106
在程序运行的过程中，所有的变量都是在内存中，比如定义一个dict1={“name”:“zhangsan”,“age”:20}，我们对name属性进行修改，改"wangwu"，但是一旦程序结束，变量所占用的内存就会被操作系统全部回收，如果没有把修改后的name存储到磁盘上，下次重新运行程序，属性name又会被初始化为"zhangsan"。这时候就会使用到序列化与反序列化，将序列化后的内容写入磁盘，这里会讲到pickle模块与json模块去实现序列化与反序列化
系统 2019-09-27 17:45:52 2106
Python一切皆对象(object)，每个对象都可能有多个属性(attribute)。Python的属性有一套统一的管理方案。属性的__dict__系统对象的属性可能来自于其类定义，叫做类属性(classattribute)。类属性可能来自类定义自身，也可能根据类定义继承来的。一个对象的属性还可能是该对象实例定义的，叫做对象属性(objectattribute)。对象的属性储存在对象的__dict__属性中。__dict__为一个词典，键为属性名，对应的
系统 2019-09-27 17:45:47 2106
