前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识，用来解决简单的贴吧下载，绩点运算自然不在话下。不过要想批量下载大量的内容，比如知乎的所有的问答，那便显得游刃不有余了点。于是乎，爬虫框架Scrapy就这样出场了！Scrapy=Scrach+Python，Scrach这个单词是抓取的意思，Scrapy的官网地址：点我点我。那么下面来简单的演示一下Scrapy的安装流程。具体流程参照：//www.jb51.net/article/48607.htm
系统 2019-09-27 17:54:46 2031
python除了关键字（keywords）和内置的类型和函数（builtins）,更多的功能是通过libraries（即modules）来提供的。常用的libraries（modules）如下：1）python运行时服务*copy：copy模块提供了对复合（compound）对象（list，tuple，dict，customclass）进行浅拷贝和深拷贝的功能。*pickle：pickle模块被用来序列化python的对象到bytes流，从而适合存储到文件
系统 2019-09-27 17:54:16 2031
正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python自1.5版本起增加了re模块，它提供Perl风格的正则表达式模式。re模块使Python语言拥有全部的正则表达式功能。compile函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。re模块也提供了与这些方法功能完全一致的函数，这些函数使用一个模式字符串做为它们的第一个参数。python正则表达式的使用（实
系统 2019-09-27 17:54:15 2031
is和==先了解下官方文档中关于is和==的概念。is表示的是对象标示符（objectidentity），而==表示的是相等（equality）；is的作用是用来检查对象的标示符是否一致，也就是比较两个对象在内存中的地址是否一样（相当于检查id(a)==id(b)），而==是用来检查两个对象引用的值是否相等（相当于检查a.eq(b)）；这点和Java有点类似，只不过Java中是用==来比较两个对象在内存中的地址，用equals()来检查两者之间的值是否相等
系统 2019-09-27 17:53:56 2031
表数据超过百万级别时使用pandas读取数据速度过慢，如果仍然想用pandas读取，可以通过多进程提高效率。同时可以将常用数据保存为pkl文件，以便后续使用。@主要代码实现#按照表中的某字段将表划分为比较均匀的多个子集#本例中需要读取的表中包含了城市字段，#且涉及的城市包含了全国大部分城市，数据分布较为均匀，因此制作了一张省份城市配置表，将数据划分#读取省份-城市配置表，获取城市列表defget_division_list(db_connect,divis
系统 2019-09-27 17:53:46 2031
最近博主手上有一个爬虫项目，开始深入研究python爬虫开发，这是我篇博客也相当于是我的学习笔记，我认为学习爬虫第一步，先学习python多线程与多进程，熟悉网络编程，接下来会陆续以博客的方式跟大家做分享。多进程Python实现多进程的方式主要有两种，一种方法是使用os模块中的fork方法，另一种方法是使用multiprocessing模块。这两种方法的区别在于前者仅适用于Unix/Linux操作系统，对Windows不支持，后者则是跨平台的实现方式，目前
系统 2019-09-27 17:53:30 2031
脚本之家已经给大家介绍过range和xrange的区别的基础知识，有兴趣的朋友可以参阅：python中xrange和range的区别python中range()与xrange()用法分析本次小编给大家带来的是深入理解range和xrange之间的区别。两种用法介绍如下：1.range([start],stop[,step])返回等差数列。构建等差数列，起点是start，终点是stop，但不包含stop，公差是step。start和step是可选项，没给出s
系统 2019-09-27 17:53:10 2031
1#!/usr/bin/envpython3.72#-*-coding:utf-8-*-3#Author:Lancer2019-09-0210:07:2145importsys,getopt67defusage():8print("usagecall")910defmain():11try:12opts,args=getopt.getopt(sys.argv[1:],"ho:v",["help","output="])13print(sys.argv[1:
系统 2019-09-27 17:52:18 2031
不管是啥语言都离不开加减乘除这些算法，但是在Python里面你知道这些符号代表什么运算吗？“/”这个是除法运算，那么这个“//”呢？“*”这个是乘法运算，那么这个“**”呢？下面来一一介绍下。“//”运算除法运算符是“/”，这个人人皆知道，但是这个二元运算符“/”求出来的结果都是取决于操作数本身的，比如：复制代码代码如下:20/3620/3.06.66666666666666720.0/36.66666666666666720.0/3.06.6666666
系统 2019-09-27 17:51:01 2031
老婆给当程序员的老公打电话：“下班顺路买一斤包子带回来，如果看到卖西瓜的，买一个。”当晚，程序员老公手捧一个包子进了家门……老婆怒道：“你怎么就买了一个包子？”老公答曰：“因为看到了卖西瓜的。”程序员买西瓜的笑话可能大部分读者都知道，今天写的这篇文章和这个笑话有一定的关系。任何编程语言都提供了if...else...语句，表示如果（if）满足条件就做某件事，否则（else）就做另外一件事：ifa==b:print("true")else:print("fa
系统 2019-09-27 17:50:46 2031
