Scrapy是一个开源的Python数据抓取框架，速度快，强大，而且使用简单。来看一个官网主页上的简单并完整的爬虫：虽然只有10行左右的代码，但是它的确是一个完整的爬虫服务：当执行scrapyrunspiderxxx.py命令的时候，Scrapy在项目里查找Spider(蜘蛛️)并通过爬虫引擎来执行它。首先从定义在start_urls里的URL开始发起请求，然后通过parse()方法处理响应。response参数就是返回的响应对象。在parse()方法中，
系统 2019-09-27 17:53:38 1875
从我开始学习python的时候，我就开始自己总结一个python小技巧的集合。后来当我什么时候在StackOverflow或者在某个开源软件里看到一段很酷代码的时候，我就很惊讶：原来还能这么做！当时我会努力的自己尝试一下这段代码，直到我懂了它的整体思路以后，我就把这段代码加到我的集合里。这篇博客其实就是这个集合整理后一部分的公开亮相。如果你已经是个python大牛，那么基本上你应该知道这里面的大多数用法了，但我想你应该也能发现一些你不知道的新技巧。而如果你
系统 2019-09-27 17:53:38 1875
本文实例讲述了Python编程中的反模式。分享给大家供大家参考。具体分析如下：Python是时下最热门的编程语言之一了。简洁而富有表达力的语法，两三行代码往往就能解决十来行C代码才能解决的问题；丰富的标准库和第三方库，大大节约了开发时间，使它成为那些对性能没有严苛要求的开发任务的首选；强大而活跃的社区，齐全的文档，也使很多编程的初学者选择了它作为自己的第一门编程语言。甚至有国外的报道称，Python已经成为了美国顶尖大学里最受欢迎的编程入门教学语言。要学好
系统 2019-09-27 17:53:32 1875
Python面向对象编程——绑定方法与非绑定方法一、类中定义的函数分成两大类1、绑定方法（绑定给谁，谁来调用就自动将它本身当作第一个参数传入1）绑定到类的方法：用classmethod装饰器装饰的方法。为类量身定制类.boud_method(),自动将类当作第一个参数传入（其实对象也可调用，但仍将类当作第一个参数传入）2）绑定到对象的方法：没有被任何装饰器装饰的方法。为对象量身定制对象.boud_method(),自动将对象当作第一个参数传入（属于类的函数
系统 2019-09-27 17:53:30 1875
Python标准库中有很多实用的工具类，但是在具体使用时，标准库文档上对使用细节描述的并不清楚，比如urllib2这个HTTP客户端库。这里总结了一些urllib2库的使用细节。1Proxy的设置urllib2默认会使用环境变量http_proxy来设置HTTPProxy。如果想在程序中明确控制Proxy，而不受环境变量的影响，可以使用下面的方式复制代码代码如下:importurllib2enable_proxy=Trueproxy_handler=url
系统 2019-09-27 17:53:21 1875
模块：模块就是一个python文件。模块就是一个python文件。功能：1.可以提高文件的重复利用率。提高开发效率2.用于划分程序结构。自定义模块：模块就是一个python文件而已，所有python代码都可以放入模块，实际开发中，模块放入的内容都是重复利用率高的内容主要包含：1.为当前模块专门定义的变量【其他语言一般都是常量】2.函数。3.类4.测试代码注意：模块的命名不要和内置模块重名！测试代码统一放到判断当中if__name__=='__main__'
系统 2019-09-27 17:53:19 1875
一.如何调用deff1(arg1,arg2):print('f1',arg1,arg2)deff2(arg1):print('f2',arg1)deff3():print('f3')deff4():print('周期任务',int(time.time()))timer=TaskTimer()#把任务加入任务队列timer.join_task(f1,[1,2],timing=15.5)#每天15:30执行timer.join_task(f2,[3],timi
系统 2019-09-27 17:53:12 1875
0x00前言eval是Python用于执行python表达式的一个内置函数，使用eval，可以很方便的将字符串动态执行。比如下列代码：>>>eval("1+2")>>>eval("[xforxinrange(10)]")[0,1,2,3,4,5,6,7,8,9]当内存中的内置模块含有os的话，eval同样可以做到命令执行：>>>importos>>>eval("os.system('whoami')")win-20140812chj\administrat
系统 2019-09-27 17:53:02 1875
近期涉及到了关于doc文档读取的处理，也查了很久，为了便于大家使用，故集大成一下。Doc文档读取有如下几种：1、从doc读取文本目前没有找到直接的方式，一般是先转为docx文件在处理。所使用工具为doc2doc(批量时可用)，或人工另存处理。2、从docx读取文本一般使用python-docx库的方法，但只支持创建新文档和读取一些基本的文件数据，如文件大小和文件标题，不支持正文读取。或直接从docx中读取xml的方法。3、从pdf读取文本一般使用pdf
系统 2019-09-27 17:53:01 1875
1什么是seleniumSelenium是一个基于浏览器的自动化工具，它提供了一种跨平台、跨浏览器的端到端的web自动化解决方案。Selenium主要包括三部分：SeleniumIDE、SeleniumWebDriver和SeleniumGrid：SeleniumIDE：Firefox的一个扩展，它可以进行录制回放，并可以把录制的操作以多种语言（例如java，python等）的形式导出成测试用例。SeleniumWebDriver：提供Web自动化所需的A
系统 2019-09-27 17:52:52 1875
