采集内容常需要得到网页返回的验证码做进一步处理下面代码是用python写的用来获取网页http状态码的脚本#!/usr/bin/python#-*-coding:utf-8-*-#encoding=utf-8#Filename:states_code.pyimporturllib2url='//www.jb51.net/'response=Nonetry:response=urllib2.urlopen(url,timeout=5)excepturllib
系统 2019-09-27 17:47:48 2205
在采集网页信息的时候，经常需要伪造报头来实现采集脚本的有效执行下面，我们将使用urllib2的header部分伪造报头来实现采集信息方法1、#!/usr/bin/python#-*-coding:utf-8-*-#encoding=utf-8#Filename:urllib2-header.pyimporturllib2importsys#抓取网页内容-发送报头-1url="//www.jb51.net"send_headers={'Host':'www.
系统 2019-09-27 17:47:48 2205
背景使用不同python版本开发python项目，或隔离多个项目之间的配置，可通过python虚拟环境virtualenv实现以上目的下载安装下载python3.6编译安装1、建立一个soft文件夹用来存放下载文件mkdirsoft环境准备yuminstallopenssl-develbzip2-develexpat-develgdbm-develreadline-develsqlite-develxzgcczlibzlib-devel2进入cdsoft3
系统 2019-09-27 17:47:47 2205
下面程序能够爬取百度图片一个网页里面的所以图片，值得关注的是匹配字段，正则表达式要写正确，虽然匹配成功的但是爬取的图片还是较少，下篇我会采取get方法来请求更多图片来爬取。importurllib.requestimportreimporttimedefopen_url(url):req=urllib.request.Request(url)req.add_header('User-Agent','Mozilla/5.0(WindowsNT6.1;WOW6
系统 2019-09-27 17:47:28 2205
某些时候我们需要让类动态的添加属性或方法，比如我们在做插件时就可以采用这种方法。用一个配置文件指定需要加载的模块，可以根据业务扩展任意加入需要的模块。本文就此简述了Python实现动态添加类的属性或成员函数的解决方法，具体方法如下：首先我们可以参考ulipad的实现：mixin。这里做的比较简单，只是声明一个类，类初始化的时候读取配置文件，根据配置列表加载特定目录下的模块下的函数，函数和模块同名，将此函数动态加载为类的成员函数。代码如下所示：classWi
系统 2019-09-27 17:47:25 2205
还是分析一下大体的流程：首先还是Chrome浏览器抓包分析元素，这是网址：https://www.douyu.com/directory/all发现所有房间的信息都是保存在一个无序列表中的li中，所以我们可以先获取一个装有li的element对象的列表，然后在对每个element逐一操作分析斗鱼的翻页，有一个下一页按钮，是个li，class="dy-Pagination-item-custom"，但是当烦到最后一页的时候，class="dy-Paginat
系统 2019-09-27 17:47:21 2205
需要建立2个文件，一个作为客户端，一个作为服务端文件一作为客户端client，文件二作为服务端server文件一#client客户端#TCP必须建立连接importsocket#导入模块#SOCK_STREAM---TCP协议方式#AF_INET----我的是ipv4地址#1,创建socket对象：指定传输协议s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)#2，建立连接发送连接请求ip地址和端口号s.c
系统 2019-09-27 17:47:20 2205
rindex()方法返回所在的子str被找到的最后一个索引，可选择限制搜索的字符串string[beg:end]如果没有这样的索引存在，抛出一个异常。语法以下是rindex()方法的语法：str.rindex(str,beg=0end=len(string))参数str--此选项指定要搜索的字符串。beg--这是开始索引，默认情况下为0len--这是最后的索引，默认情况下它等于字符串的长度。返回值此方法如果找到返回最后一个索引，否则如果没有找到str引发一
系统 2019-09-27 17:47:10 2205
上面的博客把基本的HTML解析库已经说完了，这次我们来给予几个实战的项目。这次主要用Requests库+正则表达式来解析HTML。项目一：爬取猫眼电影TOP100信息代码地址：https://gitee.com/dwyui/maoyan-Requests.git项目二：美食爬取（包含多层爬取）代码地址：https://gitee.com/dwyui/meishi_Requests.git
系统 2019-09-27 17:47:06 2205
相信大家在日常学习或者是阅读英文文章的过程中，难免会出现几个不认识的单词，或者想快速翻译某段英文的意思。今天，利用Python爬虫等知识，教大家打造一个微信下的翻译小助手。好吧，开始干活。先来看看效果如何发送要翻译的内容给我们的翻译小助手，它会自动回复翻译好的内容。环境配置：Python版本：3.6.0系统平台：Windows10X64IDE：pycharm相关模块：json模块itchat模块re模块request模块parse模块以及一些Python自
系统 2019-09-27 17:45:23 2205
