Scrapy是一个开源的Python数据抓取框架，速度快，强大，而且使用简单。来看一个官网主页上的简单并完整的爬虫：虽然只有10行左右的代码，但是它的确是一个完整的爬虫服务：当执行scrapyrunspiderxxx.py命令的时候，Scrapy在项目里查找Spider(蜘蛛️)并通过爬虫引擎来执行它。首先从定义在start_urls里的URL开始发起请求，然后通过parse()方法处理响应。response参数就是返回的响应对象。在parse()方法中，
系统 2019-09-27 17:53:38 1948
divmod(a,b)函数中文说明：divmod(a,b)方法返回的是a//b（除法取整）以及a对b的余数返回结果类型为tuple参数：a,b可以为数字（包括复数）版本：在python2.3版本之前不允许处理复数，这个大家要注意一下英文说明：Taketwo(noncomplex)numbersasargumentsandreturnapairofnumbersconsistingoftheirquotientandremainderwhenusinglon
系统 2019-09-27 17:53:37 1948
装饰器是什么？定义:装饰器是用于拓展原函数功能的一种语法,返回新函数替换旧函数作用:在不更改原函数代码的前提下,拓展出新功能@语法:加上@符系统会自动把下面的函数当成参数传递到装饰器中,从下到上.@符又被称作语法糖装饰器：1.普通装饰器defdecor(func):definner():print(“财务拿钱买货”)func()print(“卖货的钱还回来”)returninner@decor#效果等同于sell=decor(sell)defsell():
系统 2019-09-27 17:53:22 1948
这篇博客做一个爬虫的实例今天刚看到一个新闻，在7月26日上映的《哪吒之魔童降世》，密钥第二次延期至10月26日。截止至9月17日，《哪吒之魔童降世》票房已超49亿票房，在豆瓣上对该电影的评价有好有坏。说实话，博主看了这个电影真的觉得蛮不错的，因此把短评中的差评爬取下来，看下差评包括哪些方面。目录一、BeautifulSoup二、xpath三、正则表达式一、BeautifulSoup首先需要了解下差评文字内容在哪些标签下：进入豆瓣该电影短评界面，检查元素：可
系统 2019-09-27 17:53:05 1948
生成器(generator)概念生成器不会把结果保存在一个系列中，而是保存生成器的状态，在每次进行迭代时返回一个值，直到遇到StopIteration异常结束。生成器语法生成器表达式：通列表解析语法，只不过把列表解析的[]换成()生成器表达式能做的事情列表解析基本都能处理，只不过在需要处理的序列比较大时，列表解析比较费内存。>>>gen=(x**2forxinrange(5))>>>genat0x0000000002FB7B40>>>>forgingen:
系统 2019-09-27 17:52:55 1948
一、冒泡排序冒泡排序算法的运作如下：比较相邻的元素。如果第一个比第二个大，就交换他们两个。对每一对相邻元素作同样的工作，从开始第一对到结尾的最后一对。这步做完后，最后的元素会是最大的数。针对所有的元素重复以上的步骤，除了最后一个。持续每次对越来越少的元素重复上面的步骤，直到没有任何一对数字需要比较。以上节选自维基百科代码实现：defbubble_sort(numberlist):length=len(numberlist)foriinrange(lengt
系统 2019-09-27 17:52:52 1948
Python3快速入门（十五）——Pandas数据处理一、函数应用1、函数应用简介如果要将自定义函数或其它库函数应用于Pandas对象，有三种使用方式。pipe()将函数用于表格，apply()将函数用于行或列，applymap()将函数用于元素。2、表格函数应用可以通过将函数对象和参数作为pipe函数的参数来执行自定义操作，会对整个DataFrame执行操作。#-*-coding=utf-8-*-importpandasaspdimportnumpyas
系统 2019-09-27 17:52:01 1948
可以执行shell命令的相关模块和函数有：os.systemos.spawnos.popen--废弃popen--废弃commands--废弃，3.x中被移除以上执行shell命令的相关的模块和函数的功能均在subprocess模块中实现，并提供了更丰富的功能。subprocesscall执行命令，返回状态码>>>importsubprocess>>>ret=subprocess.call(["ls","-l"],shell=False)total4684
系统 2019-09-27 17:51:25 1948
目录条件判断if循环for...in...whilebreakcontinue继"Python学习之路二"：条件判断if比如，输入用户年龄，根据年龄打印不同的内容，在Python程序中，用if语句实现：>>>age=18>>>ifage>=18:print("yourageis",age)print("adult")yourageis18adult>>>根据Python的缩进规则，如果if语句判断是True，就把缩进的两行print语句执行了，否则，什么也
系统 2019-09-27 17:51:22 1948
使用python脚本备份zk中的配置python备份代码python3back.pyimportosimportos.pathfromkazoo.clientimportKazooClientfromkazoo.clientimportKazooStatezk=KazooClient('test:2181')zk.start()zkBashPath="/conf/base/"backUp_path="/tmp/test/"cs=zk.get_childre
系统 2019-09-27 17:50:23 1948
