Scrapy是一个开源的Python数据抓取框架，速度快，强大，而且使用简单。来看一个官网主页上的简单并完整的爬虫：虽然只有10行左右的代码，但是它的确是一个完整的爬虫服务：当执行scrapyrunspiderxxx.py命令的时候，Scrapy在项目里查找Spider(蜘蛛️)并通过爬虫引擎来执行它。首先从定义在start_urls里的URL开始发起请求，然后通过parse()方法处理响应。response参数就是返回的响应对象。在parse()方法中，
系统 2019-09-27 17:53:38 1873
问题说明最近在写爬虫，由于单个账号访问频率太高会被封，所以需要在爬虫执行一段时间间隔后自己循环切换账号所以就在想，有没有像单片机那样子设置一个定时中断，再定义一个中断入口，这样子每隔一段时间执行一次中断当然不能用sleep，这样子整个进程就停在这了，而不是接着爬数据解决方法用到threading的Timer，也类似单片机那样子，在中断程序中再重置定时器，设置中断，python实例代码如下importthreadingimporttimedefchange_
系统 2019-09-27 17:53:13 1873
一.如何调用deff1(arg1,arg2):print('f1',arg1,arg2)deff2(arg1):print('f2',arg1)deff3():print('f3')deff4():print('周期任务',int(time.time()))timer=TaskTimer()#把任务加入任务队列timer.join_task(f1,[1,2],timing=15.5)#每天15:30执行timer.join_task(f2,[3],timi
系统 2019-09-27 17:53:12 1873
前言正则表达式就是从字符串中发现规律，并通过“抽象”的符号表达出来。打个比方，对于2,5,10,17,26,37这样的数字序列，如何计算第7个值，肯定要先找该序列的规律，然后用n2+1这个表达式来描述其规律，进而得到第7个值为50。对于需要匹配的字符串来说，同样把发现规律作为第一步，本文主要使用正则表达式完成字符串的查询匹配、替换匹配和分割匹配。常用的正则符号在进入字符串的匹配之前，先来了解一下都有哪些常用的正则符号，见下表所示：如果读者能够比较熟练地掌握
系统 2019-09-27 17:52:54 1873
1什么是seleniumSelenium是一个基于浏览器的自动化工具，它提供了一种跨平台、跨浏览器的端到端的web自动化解决方案。Selenium主要包括三部分：SeleniumIDE、SeleniumWebDriver和SeleniumGrid：SeleniumIDE：Firefox的一个扩展，它可以进行录制回放，并可以把录制的操作以多种语言（例如java，python等）的形式导出成测试用例。SeleniumWebDriver：提供Web自动化所需的A
系统 2019-09-27 17:52:52 1873
文件操作对编程语言的重要性不用多说，如果数据不能持久保存，信息技术也就失去了意义。按照本人经验，IO也是蛮头疼的一件事，因为不会用得太多，所以总是记不住API，每次都要重新google就会打断思路，还不一定每次都快速得到正确的文章。本文内容包括：文件的读写操作文件的各种系统操作存储对象遍历文件上代码：importosimportos.pathrootdir="d:/code/su/data"#指明被遍历的文件夹forparent,dirnames,file
系统 2019-09-27 17:52:30 1873
1、python装饰器最基础的函数1defsum1():2sum=1+23print(sum)4sum1()查看函数执行用了多长时间，写了几句代码插进去了：1importtime23defsum1():4start=time.clock()5sum=1+26print(sum)7end=time.clock()8print("timeused:",end-start)910sum1()可是随着继续翻看，对越来越多的函数感兴趣了，都想看下他们的运行时间如何，
系统 2019-09-27 17:52:26 1873
作为临时测试用python命令来搭建web测试是最好不过的选择了；CD切换到当前目录只需要一句python命令就迅速搭建好了简单的web服务器，pythonlinux自带又无需额外配置安装感觉还是很好用的；python开启web服务器命令python-mSimpleHTTPServer8080端口号可以任意指定一个没有被占用的端口，但必须能通过防火墙；执行完上面命令后，直接输入IP地址加端口号就行了http://:端口号/路径如：http://192.16
系统 2019-09-27 17:52:09 1873
目录python协程详解一、什么是协程二、了解协程的过程1、yield工作原理2、预激协程的装饰器3、终止协程和异常处理4、让协程返回值5、yieldfrom的使用6、yieldfrom的意义三、greenlet的使用四、gevent的使用python协程详解一、什么是协程协程又称为微线程，协程是一种用户态的轻量级线程协程拥有自己的寄存器和栈。协程调度切换的时候，将寄存器上下文和栈都保存到其他地方，在切换回来的时候，恢复到先前保存的寄存器上下文和栈，因此：
系统 2019-09-27 17:51:34 1873
1准备工作1.1环境搭建1.1.1安装python3.6python安装官网1.1.2安装django2.2pipinstalldjango(==2.2.0)//不加版本默认安装最新版1.1.3安装pycharm（社区版，官网下载安装即可）在安装完成后要配置好需要的第三方库：（pip下载，推荐在pycharm下也配置虚拟环境）Django2.2连接mysql需要的库：PyMySQL,mysql,mysqlclinet验证码用到的库：django-simpl
系统 2019-09-27 17:51:19 1873
