最近博主手上有一个爬虫项目，开始深入研究python爬虫开发，这是我篇博客也相当于是我的学习笔记，我认为学习爬虫第一步，先学习python多线程与多进程，熟悉网络编程，接下来会陆续以博客的方式跟大家做分享。多进程Python实现多进程的方式主要有两种，一种方法是使用os模块中的fork方法，另一种方法是使用multiprocessing模块。这两种方法的区别在于前者仅适用于Unix/Linux操作系统，对Windows不支持，后者则是跨平台的实现方式，目前
系统 2019-09-27 17:53:30 2208
生成器(generator)概念生成器不会把结果保存在一个系列中，而是保存生成器的状态，在每次进行迭代时返回一个值，直到遇到StopIteration异常结束。生成器语法生成器表达式：通列表解析语法，只不过把列表解析的[]换成()生成器表达式能做的事情列表解析基本都能处理，只不过在需要处理的序列比较大时，列表解析比较费内存。>>>gen=(x**2forxinrange(5))>>>genat0x0000000002FB7B40>>>>forgingen:
系统 2019-09-27 17:52:55 2208
如果直接从生成验证码的页面把验证码下载到本地后识别，再构造表单数据发送的话，会有一个验证码同步的问题，即请求了两次验证码，而识别出来的验证码并不是实际需要发送的验证码。有如下几种方法解决。法1:用session：mysession=requests.Session()login_url='http://xxx.com'checkcode_url='http://yyy.com'html=mysession.get(login_url,timeout=60*
系统 2019-09-27 17:52:42 2208
运行多进程每个子进程的内存空间是互相隔离的进程之间数据不能共享的互斥锁但是进程之间都是运行在一个操作系统上，进程之间数据不共享,但是共享同一套文件系统,所以访问同一个文件,或同一个打印终端,是可以的，而共享带来的是竞争，竞争带来的结果就是错乱#并发运行,效率高,但竞争同一打印终端,带来了打印错乱frommultiprocessingimportProcessimporttimedeftask(name):print("%s1"%name)time.slee
系统 2019-09-27 17:52:42 2208
填充螺旋演示结果：实例代码：importmatplotlib.pyplotaspltimportnumpyasnptheta=np.arange(0,8*np.pi,0.1)a=1b=.2fordtinnp.arange(0,2*np.pi,np.pi/2.0):x=a*np.cos(theta+dt)*np.exp(b*theta)y=a*np.sin(theta+dt)*np.exp(b*theta)dt=dt+np.pi/4.0x2=a*np.cos
系统 2019-09-27 17:52:35 2208
一、安装MySQL-python复制代码代码如下:#yuminstall-yMySQL-python二、打开数据库连接复制代码代码如下:#!/usr/bin/pythonimportMySQLdbconn=MySQLdb.connect(user='root',passwd='admin',host='127.0.0.1')conn.select_db('test')cur=conn.cursor()三、操作数据库复制代码代码如下:definsertdb(
系统 2019-09-27 17:52:20 2208
打包：pyinstaller-F(生成单一运行文件)-i(+图标路径)-w(无控制台)*.py(文件)1.pyinstaller打包报错：RecursionError:maximumrecursiondepthexceeded上一步生成*.spec文件，在*.spec中加入importsyssys.setrecursionlimit(5000)执行命令pyinstaller*.spec2.UnicodeDecodeError:'utf-8'codeccan
系统 2019-09-27 17:51:26 2208
在python中,一个函数就是一个作用域name='xiaoyafei'defchange_name():name='肖亚飞'print('在change_name里的name:',name)change_name()#调用函数print("在外面的name:",name)运行结果如下:在change_name里的name:肖亚飞在外面的name:xiaoyafei我们再试一下在嵌套函数中是如何的寻找的?age=15deffunc():print('第一层
系统 2019-09-27 17:51:15 2208
前言一个偶然的机会来到博客园，看到了vamei的博文，瞬间被大神言简意赅，深入浅出的Python快速课程所吸引，开始了一步一步的学习编程之路。同时也惊闻大神因抑郁症去世，真是天妒英才，感慨万千。有兴趣的可以看看大神生前的文章。https://www.cnblogs.com/vamei/archive/2012/09/13/2682778.html第一课Python的优缺点以及干什么用的，想必大家都很了解。主要有：简单易学，功能强大，可移植性强等，是人工智能
系统 2019-09-27 17:49:55 2208
python基础学习笔记（二）2013-02-2416:25虫师阅读(...)评论(...)编辑收藏继续第一篇的内容，讲解，python的一些基本的东西。注释为了让别人能够更容易理解程序，使用注释是非常有效的，即使是自己回头再看旧代码也是一样。>>>#获得用户名：>>>user_name=raw_input("whatisyourname?")在python中用井号（#）表示注释。井号（#）右边的内存将不被程序执行。即使没有注释，也应该让代码本身易于理解。
系统 2019-09-27 17:48:56 2208
