综述本系列文档用于对Python爬虫技术的学习进行记录总结。Python版本是3.7.4urllib库介绍它是Python内置的HTTP请求库，也就是说我们不需要额外安装即可使用，它包含四个模块(主要对前三个模块进行学习)：request:它是最基本的HTTP请求模块，我们可以用它来模拟发送一请求，就像在浏览器里输入网址然后敲击回车一样，只需要给库方法传入URL还有额外的参数，就可以模拟实现这个过程了。error:异常处理模块，如果出现请求错误，我们可以捕
系统 2019-09-27 17:54:27 1796
解决多版本同时存在的pip安装模块如果同时存在Python2和Python3版本，则需要通过python-mpipinstall的方式给指定的Python安装模块。安装模块超时，更换安装源当安装模块超时时可以通过修改超时时间的方式来进行解决，也可以通过修改安装源的方式解决。修改超时时间pip--default-timeout=100installnumpy通过设置临时安装源的方式pipinstallnumpy-ihttps://pypi.doubanio.
系统 2019-09-27 17:54:25 1796
python具体强大的库文件，很多功能都有相应的库文件，所以很有必要进行学习一下，其中有一个ftp相应的库文件ftplib，我们只需要其中的登录功能，然后利用多线程调用相应字典里面的字段进行登录，还能根据自己的需要，根据自身的情况编写需要的程序，让程序代替我们去做一些枯燥的重复工作。下面直接上代码，下面是主文件复制代码代码如下:importosimporttimeimportthreadingclassmythread(threading.Thread):
系统 2019-09-27 17:54:23 1796
项目中想使用以前的代码，或者什么样的需求致使你需要导入外部的包如果是web下，比如说django，那么你新建一个app，把你需要导入的说用东东，都写到这个app中，然后在setting中的app也配上基本就ok了如果是本地代码，可以有几种方式，1、这种最简单，也可能最不实用，将你的外部文件放到跟需要调用外部文件的文件同一个包下，同一目录folder------toinvoke.py------tobeinvoded.py这样在toinvoke.py中引入i
系统 2019-09-27 17:54:22 1796
[TOC]题目罗马数字包含以下七种字符:I，V，X，L，C，D和M。字符数值I1V5X10L50C100D500M1000例如，罗马数字2写做II，即为两个并列的1。12写做XII，即为X+II。27写做XXVII,即为XX+V+II。通常情况下，罗马数字中小的数字在大的数字的右边。但也存在特例，例如4不写做IIII，而是IV。数字1在数字5的左边，所表示的数等于大数5减小数1得到的数值4。同样地，数字9表示为IX。这个特殊的规则只适用于以下六种情况：I可
系统 2019-09-27 17:54:21 1796
前言最近因为工作原因，发现一个Python的时间组件，很好用分享出来！（忘记作者名字了，在这里先感谢了），下面话不多说，来一起看看详细的介绍吧。示例代码：#-*-coding:utf-8-*-'''获取当前日期前后N天或N月的日期'''fromtimeimportstrftime,localtimefromdatetimeimporttimedelta,dateimportcalendaryear=strftime("%Y",localtime())mon
系统 2019-09-27 17:54:18 1796
利用python库random，string生成大小写字母和数字的随机验证码importrandomimportstringdefgenerate_code(bit_num):''':parambit_num:生成验证码位数:return:返回生成的验证码'''all_str=string.printable.split('!')[0]code=''.join([random.choice(all_str)foriinrange(bit_num)])ret
系统 2019-09-27 17:54:02 1796
在初步了解Python多进程之后，我们可以继续探索multiprocessing包中更加高级的工具。这些工具可以让我们更加便利地实现多进程。进程池进程池(ProcessPool)可以创建多个进程。这些进程就像是随时待命的士兵，准备执行任务(程序)。一个进程池中可以容纳多个待命的士兵。“三个进程的进程池”比如下面的程序:复制代码代码如下:importmultiprocessingasmuldeff(x):returnx**2pool=mul.Pool(5)r
系统 2019-09-27 17:53:52 1796
之前了解到itchat乃至于wxpy时是利用tuling聊天机器人的接口。调用接口并保存双方的问答结果可以作为自己的问答词库的一个数据库累计。这些数据可以用于自己训练。而最近希望获取一些语音资源，用于卷积神经网络的训练。。--------------------------------------------------------------------------------首先wxpy是itchat的升级版，通过wxpybot.core即可原封不动的
系统 2019-09-27 17:53:42 1796
enumerate函数用于遍历序列中的元素以及它们的下标。enumerate函数说明：函数原型：enumerate(sequence,[start=0])功能：将可循环序列sequence以start开始分别列出序列数据和数据下标即对一个可遍历的数据对象(如列表、元组或字符串)，enumerate会将该数据对象组合为一个索引序列，同时列出数据和数据下标。举例说明：存在一个sequence，对其使用enumerate将会得到如下结果：startsequenc
系统 2019-09-27 17:53:38 1796
