在日常PC端的Python爬虫过程工作中，Chrome浏览器是我们常用的一款工具。鉴于Chrome浏览器的强大，Chrome网上应用商店很多强大的插件可以帮助我们快速高效地进行数据爬虫。今天推荐的6款Chrome插件，可以大大提升我们的爬虫效率。EditThisCookieEditThisCookie是一个Cookie管理器，可以很方便的添加，删除，编辑，搜索，锁定和屏蔽Cookies。可以将登录后的Cookies先保存到本地，借助cookielib库，直
系统 2019-09-27 17:53:24 2051
使用python爬取微博评论：本文首发于《凹凸数读》，关注后台回复“源码”获取相关python代码2019年5月27日凌晨，翟天临又上了热搜。我们爬取了翟天临2月道歉微博下的30万余条评论，看看毕业生们是如何吐槽他的？本文首发于《凹凸数读》，关注后台回复“源码”获取相关python代码
系统 2019-09-27 17:53:21 2051
本来是在找交通识别的程序，然后凑巧看见了证件照换底，于是学习了一下~一开始在网上找了一个很普遍写的程序，但是效果并不好，想要放弃了，然后看见了这个，参考：pythonopencv实现证件照换底功能本人基于此做了一些改进，便于自己运行和调试，还加了中值滤波，本人觉得效果还不错~代码：importcv2importnumpyasnpdefcvtBackground(path,color):"""功能：给证件照更换背景色（常用背景色红、白、蓝）输入参数：path
系统 2019-09-27 17:53:20 2051
最近在做游戏服务分层的时候，一直想把mysql的访问独立成一个单独的服务DBGate，原因如下:请求收拢到DBGate，可以使DBGate变为无状态的，方便横向扩展当请求量或者存储量变大时，mysql需要做分库分表，DBGate可以内部直接处理，外界无感知通过restful限制对数据请求的形式，仅支持简单的get/post/patch/put进行增删改查，并不支持复杂查询。这个也是和游戏业务的特性有关，如果网站等需要复杂查询的业务，对此并不适合DBGate
系统 2019-09-27 17:52:45 2051
一、问题引出浅拷贝首先看下面代码的执行情况：a=[1,2,3]print('a=%s'%a)#a=[1,2,3]b=aprint('b=%s'%b)#b=[1,2,3]a.append(4)#对a进行修改print('a=%s'%a)#a=[1,2,3,4]print('b=%s'%b)#b=[1,2,3,4]b.append(5)#对b进行修改print('a=%s'%a)#a=[1,2,3,4,5]print('b=%s'%b)#b=[1,2,3,4,
系统 2019-09-27 17:52:42 2051
简介这篇博文和分类看似没有多大关系，但是也是从上一篇衍生出来的产物，因为涉及到FQ工具Lantern，就算是给关注和支持的小伙伴们拓展一下眼界和知识面。而且好多人都阅读了上一篇没发现那个参考博客点不开吗？那是因为还没来的急，整理和编写，今天再试一下就可以。一个软件可能占用多个端口拥有多个目标IP，下面以FQ工具Lantern为例，说明端口查看方法：1.借助第三方软件查看如果你电脑上安装了360等优化工具，可能会自带查看网络状况的插件如下图：2.命令行窗口查
系统 2019-09-27 17:51:27 2051
爬虫即网络爬虫，英文是WebSpider。翻译过来就是网络上爬行的蜘蛛，如果把互联网看作一张大网，那么爬虫就是在大网上爬来爬去的蜘蛛，碰到想要的食物，就把他抓取出来。我们在浏览器中输入一个网址，敲击回车，看到网站的页面信息。这就是浏览器请求了网站的服务器，获取到网络资源。那么，爬虫也相当于模拟浏览器发送请求，获得到HTML代码。HTML代码里通常包含了标签和文字信息，我们就从中提取到我们想要的信息。通常爬虫是从某个网站的某个页面开始，爬取这个页面的内容，找
系统 2019-09-27 17:51:07 2051
记住以下几点:直接子类化内置类型(如dict,list或str)容易出错,因为内置类型的方法通常会忽略用户覆盖的方法,不要子类化内置类型,用户自定义的类应该继承collections模块。def__setitem__(self,key,value):super().__setitem__(key,[value]*2)#错误案例classAnswerDict(dict):def__getitem__(self,item):#错误案例return42impor
系统 2019-09-27 17:50:43 2051
记录三种添加cookie保持接口登录状态的方法，方便自己回顾。1.简单粗暴式。此方法比较小白，前提是已经通过fiddler抓包等方式拿到了cookie，然后直接塞进去。importrequeststrainsUrl='http://XXX.com/trains'headers={"Content-Type":"application/json;charset=UTF-8",}cookies={"XXXthor":"XXXXXX105a42"}prames=
系统 2019-09-27 17:49:54 2051
好了，废话少说，我们先看看几个示例吧一、打开一个网页获取所有的内容复制代码代码如下:fromurllibimporturlopendoc=urlopen("http://www.baidu.com").read()printdoc二、获取Http头复制代码代码如下:fromurllibimporturlopendoc=urlopen("http://www.baidu.com")printdoc.info()printdoc.info().getheade
系统 2019-09-27 17:48:28 2051
