Scrapy是一个开源的Python数据抓取框架，速度快，强大，而且使用简单。来看一个官网主页上的简单并完整的爬虫：虽然只有10行左右的代码，但是它的确是一个完整的爬虫服务：当执行scrapyrunspiderxxx.py命令的时候，Scrapy在项目里查找Spider(蜘蛛️)并通过爬虫引擎来执行它。首先从定义在start_urls里的URL开始发起请求，然后通过parse()方法处理响应。response参数就是返回的响应对象。在parse()方法中，
系统 2019-09-27 17:53:38 2008
3.5.2for循环hello大家好，不知道在上节中大家练习while循环练习得怎么样了，相信大家都已经熟悉while循环了吧，那么现在我在这里在向大家讲解一下for循环。大家肯定也很懵圈，怎么有个while循环，又有个for循环，for循环又是干嘛的？相信很多刚接触编程的朋友一定很懵圈，哈哈......因为我当时也很懵圈。好了，废话不多说，接下来就给大家将一下for循环和while循环的区别，以及for循环是什么东西。while循环的功能非常强大，它可以
系统 2019-09-27 17:52:18 2008
原文链接：https://aiprocon.csdn.net/?utm_source=wx作者|xiaoyu来源|Python与数据科学前言学过Python数据分析的朋友都知道，在可视化的工具中，有很多优秀的三方库，比如matplotlib，seaborn，plotly，Boken，pyecharts等等。这些可视化库都有自己的特点，在实际应用中也广为大家使用。plotly、Boken等都是交互式的可视化工具，结合Jupyternotebook可以非常灵活
系统 2019-09-27 17:51:48 2008
在python中进行两个整数相除的时候，在默认情况下都是只能够得到整数的值，而在需要进行对除所得的结果进行精确地求值时，想在运算后即得到浮点值，那么如何进行处理呢？1、修改被除数的值为带小数点的形式即可得到浮点值，这种方法在被除数事先知道的情况下才可以采用有效，而这种情况意味着被除数的值是写死的、固定的，在绝大多数的情况下是不可行的；2、在进行除法运算前导入一个实除法的模块，即可在两个整数进行相除的时候得到浮点的结果;复制代码代码如下:from__futu
系统 2019-09-27 17:51:25 2008
考虑这种情况：如果一个线程遇到锁嵌套的情况该怎么办，这个嵌套是指当我一个线程在获取临界资源时，又需要再次获取。根据这种情况，代码如下：复制代码代码如下:'''Createdon2012-9-8@author:walfred@module:thread.ThreadTest6'''importthreadingimporttimecounter=0mutex=threading.Lock()classMyThread(threading.Thread):de
系统 2019-09-27 17:50:55 2008
老婆给当程序员的老公打电话：“下班顺路买一斤包子带回来，如果看到卖西瓜的，买一个。”当晚，程序员老公手捧一个包子进了家门……老婆怒道：“你怎么就买了一个包子？”老公答曰：“因为看到了卖西瓜的。”程序员买西瓜的笑话可能大部分读者都知道，今天写的这篇文章和这个笑话有一定的关系。任何编程语言都提供了if...else...语句，表示如果（if）满足条件就做某件事，否则（else）就做另外一件事：ifa==b:print("true")else:print("fa
系统 2019-09-27 17:50:46 2008
一、初识正则表达式正则表达式是一个特殊的字符序列，一个字符串是否与我们所设定的这样的字符序列，相匹配快速检索文本、实现替换文本的操作json（xml）轻量级web数据交换格式importrea='C|C++|Java|C#||Python|Javascript'r=re.findall('Python',a)print(r)iflen(r)>0:print('字符串中包含Python')else:print('No')['Python']字符串中包含Pyt
系统 2019-09-27 17:49:43 2008
前言一个业务型的服务，被open接口后，遭遇并发扫数据，于是要做限流操作。一直固执的认为，业务API和OpenAPI要分开处理，或许因为起初接入其他企业ERP系统都是走较为规范的OpenAPI，始终对于这种开发系统业务API的做法感觉不好。窗口限流需求是要在Django的一个工程里做限流，倘若是rest_framework的View也好办，直接就提供了限流rest_frameworkthrottling可参照文档设置。不能直接使用设置的原因是，面对是Dja
系统 2019-09-27 17:49:39 2008
Python重试模块retrying工作中经常碰到的问题就是，某个方法出现了异常，重试几次。循环重复一个方法是很常见的。比如爬虫中的获取代理，对获取失败的情况进行重试。刚开始搜的几个博客讲的有点问题，建议看官方文档，还有自己动手实验。参考：https://segmentfault.com/a/1190000004085023https://pypi.org/project/retrying/最初的版本importrequestsclassProxyUtil
系统 2019-09-27 17:49:24 2008
具体代码如下所示：importsmtplib,email,os,timefromemail.mime.multipartimportMIMEMultipartfromemail.mime.textimportMIMETextfromemail.headerimportHeader#设置smtplib所需的参数smtpserver='smtp.qq.com'#SMTP服务器地址username='xxx@qq.com'#发件人地址，通过控制台创建的发件人地址
系统 2019-09-27 17:49:18 2008
