Scrapy是一个开源的Python数据抓取框架，速度快，强大，而且使用简单。来看一个官网主页上的简单并完整的爬虫：虽然只有10行左右的代码，但是它的确是一个完整的爬虫服务：当执行scrapyrunspiderxxx.py命令的时候，Scrapy在项目里查找Spider(蜘蛛️)并通过爬虫引擎来执行它。首先从定义在start_urls里的URL开始发起请求，然后通过parse()方法处理响应。response参数就是返回的响应对象。在parse()方法中，
系统 2019-09-27 17:53:38 1945
模块：模块就是一个python文件。模块就是一个python文件。功能：1.可以提高文件的重复利用率。提高开发效率2.用于划分程序结构。自定义模块：模块就是一个python文件而已，所有python代码都可以放入模块，实际开发中，模块放入的内容都是重复利用率高的内容主要包含：1.为当前模块专门定义的变量【其他语言一般都是常量】2.函数。3.类4.测试代码注意：模块的命名不要和内置模块重名！测试代码统一放到判断当中if__name__=='__main__'
系统 2019-09-27 17:53:19 1945
生成器(generator)概念生成器不会把结果保存在一个系列中，而是保存生成器的状态，在每次进行迭代时返回一个值，直到遇到StopIteration异常结束。生成器语法生成器表达式：通列表解析语法，只不过把列表解析的[]换成()生成器表达式能做的事情列表解析基本都能处理，只不过在需要处理的序列比较大时，列表解析比较费内存。>>>gen=(x**2forxinrange(5))>>>genat0x0000000002FB7B40>>>>forgingen:
系统 2019-09-27 17:52:55 1945
前言学习一个库的最好的方式是了解这个库的源码和组成原理，有时候源码可能会略显生涩，这时候我们想通过查看文档来了解，所以我们可以通过输出库自带的描述文档来了解一个库。Numpy和Scipy模块numpy提供了数组对象，面向的任何使用者。scipy在numpy的基础上，面向科学家和工程师，提供了更为精准和广泛的函数。scipy几乎实现numpy的所有函数，一般而言，如果scipy和numpy都有这个函数的话，应该用scipy中的版本，因为scipy中的版本往往
系统 2019-09-27 17:52:27 1945
基本常识python中的左位移和右位移利用Python在一个文件的头部插入数据withopen(path,"r+")asf:old=f.read()f.seek(0)f.write(data)f.write(old)Debugxpath中遇到[]AttributeError:‘dict’objecthasnoattribute‘iteritems’Python3.5中：iteritems变为items【Python】ufunc‘subtract’didno
系统 2019-09-27 17:52:10 1945
作为临时测试用python命令来搭建web测试是最好不过的选择了；CD切换到当前目录只需要一句python命令就迅速搭建好了简单的web服务器，pythonlinux自带又无需额外配置安装感觉还是很好用的；python开启web服务器命令python-mSimpleHTTPServer8080端口号可以任意指定一个没有被占用的端口，但必须能通过防火墙；执行完上面命令后，直接输入IP地址加端口号就行了http://:端口号/路径如：http://192.16
系统 2019-09-27 17:52:09 1945
完全转自https://blog.csdn.net/beijiu5854/article/details/77897767，但是经过自己的测试。转载自http://blog.csdn.net/u013894834/article/details/75305752Ubuntu16.04下完美切换Python版本（亲测）对于ubuntu16.04，由于本身是自带python，这样就减少了在windows下的下载和环境变量配置，非常不错。但是他本身是自带两个版本
系统 2019-09-27 17:51:41 1945
一、背景今天闲着无事，写了一个小小的Python脚本程序，然后给同学炫耀的时候，发现每次都得拉着其他人过来看着自己的电脑屏幕，感觉不是很爽，然后我想着网上肯定有关于Python脚本转换成可执行文件的操作，事不宜迟，我就开始了问度娘，各种寻找资料，发现网上的资料太多了，有一些比较老了，适合Python2.x系列，在现在Python3流行的时代，我们当然是直接无视，但是各种方法凌乱的很，各种教程也是或全或缺的，鄙人也捣鼓了可久，后来发现一种方法挺多人用的，在自
系统 2019-09-27 17:51:28 1945
可以执行shell命令的相关模块和函数有：os.systemos.spawnos.popen--废弃popen--废弃commands--废弃，3.x中被移除以上执行shell命令的相关的模块和函数的功能均在subprocess模块中实现，并提供了更丰富的功能。subprocesscall执行命令，返回状态码>>>importsubprocess>>>ret=subprocess.call(["ls","-l"],shell=False)total4684
系统 2019-09-27 17:51:25 1945
Python这门解释性语言也有专门的线程模型，Python虚拟机使用GIL（GlobalInterpreterLock，全局解释器锁）来互斥线程对共享资源的访问，但暂时无法利用多处理器的优势。在Python中我们主要是通过thread和threading这两个模块来实现的，其中Python的threading模块是对thread做了一些包装的，可以更加方便的被使用，所以我们使用threading模块实现多线程编程。这篇文章我们主要来看看Python对多线程
系统 2019-09-27 17:50:59 1945
