最近博主手上有一个爬虫项目，开始深入研究python爬虫开发，这是我篇博客也相当于是我的学习笔记，我认为学习爬虫第一步，先学习python多线程与多进程，熟悉网络编程，接下来会陆续以博客的方式跟大家做分享。多进程Python实现多进程的方式主要有两种，一种方法是使用os模块中的fork方法，另一种方法是使用multiprocessing模块。这两种方法的区别在于前者仅适用于Unix/Linux操作系统，对Windows不支持，后者则是跨平台的实现方式，目前
系统 2019-09-27 17:53:30 2148
如果直接从生成验证码的页面把验证码下载到本地后识别，再构造表单数据发送的话，会有一个验证码同步的问题，即请求了两次验证码，而识别出来的验证码并不是实际需要发送的验证码。有如下几种方法解决。法1:用session：mysession=requests.Session()login_url='http://xxx.com'checkcode_url='http://yyy.com'html=mysession.get(login_url,timeout=60*
系统 2019-09-27 17:52:42 2148
Python的字符串的特点Python与C语言,Java语言都不一样，没有单个字符，只有一个有一个字符的字符串。字符串对象不可修改，属于不可变类型字符串和列表，元组都从属于序列这个对象类别。所以序列支持的操作，字符串也支持。用单引号和双引号表示都行，并列的字符串串常量会自动合并，不需要显式的用加号表示。单双引号里面的特殊字符必须用转义序列表示，比如”，',\都需要在前面加个、，但是在三引号里面不需要转义。Python的字符串的支持的基本操作支持序列的操作，
系统 2019-09-27 17:52:13 2148
测试题一、1、程序可以响应的两种事件分别是键盘事件和鼠标事件。2、处理事件的代码称为事件处理器3、Pygame使用KEYDOWN事件来检测按键是否按下。4、Pos属性会指出事件发生时鼠标所在的位置5、要为用户事件得到下一个可用的事件编号，可以使用pygame.NUMEVENTS。6、要创建一个定时器，可以使用pygame.time.set_timer()。7、要在Pygame窗口中显示文本，可以使用font对象。8、使用字体对象有3个步骤：创建一个字体对象
系统 2019-09-27 17:51:09 2148
pythonredis连接有序集合去重的代码如下所述：#-*-coding:utf-8-*-importredisfromconstantimportredis_ip,redis_db,redis_pw,redis_zset_namepool=redis.ConnectionPool(host=redis_ip,db=redis_db,password=redis_pw)#pool=redis.ConnectionPool(db=6,password=re
系统 2019-09-27 17:51:00 2148
如下所示：#!/usr/bin/envpython#-*-coding:utf-8-*importserialimportserial.tools.list_portsport_list=list(serial.tools.list_ports.comports())iflen(port_list)<=0:print"TheSerialportcan'tfind!"else:port_list_0=list(port_list[0])port_serial
系统 2019-09-27 17:50:57 2148
首先安装一个需要用到的模块pipinstallsocial-auth-app-django安装完后在终端输入piplist会看到social-auth-app-django3.1.0social-auth-core3.0.0然后可以来我的github，下载关于滑动验证码的这个demo：https://github.com/Edward66/slide_auth_code下载完后启动项目pythonmanage.pyrunserver启动这个项目后，在主页就
系统 2019-09-27 17:50:45 2148
requests库的用法：requests是python实现的简单易用的HTTP库因为是第三方库，所以使用前需要cmd安装pip×××tallrequests安装完成后import一下，正常则说明可以开始使用了基本用法：importrequestsformbs4importBeautifulSoupresponse=requests.get('http://www.baidu.com')print(response.status_code)#打印状态码pr
系统 2019-09-27 17:50:42 2148
python&djangologging小结[TOC]python基本一次配置,多处生效importlogginglogging.basicConfig(format='%(asctime)s%(message)s',datefmt='%m/%d/%Y%I:%M:%S%p')logging.warning('iswhenthiseventwaslogged.')>>>12/12/201011:46:36AMiswhenthiseventwaslogged.
系统 2019-09-27 17:50:19 2148
协程是什么我们已经做过不少爬虫项目，不过我们爬取的数据都不算太大，如果我们想要爬取的是成千上万条的数据，那么就会遇到一个问题：因为程序是一行一行依次执行的缘故，要等待很久，我们才能拿到想要的数据。既然一个爬虫爬取大量数据要爬很久，那我们能不能让多个爬虫一起爬取？这样无疑能提高爬取的效率，就像一个人干不完的活儿，组个团队一起干，活一下被干完了。这是一个很好的思路——让多个爬虫帮我们干活。但具体怎么用Python实现这事呢？我们可以先别急着想怎么实现这件事，后
系统 2019-09-27 17:50:16 2148
