python使用scrapy自动爬取多个网页

下的 元素的href里面。不同的是第一章只有2个 元素，从二章开始就有3个 元素。因此我们可以通过

下

元素的个数来判决是否含有上一页和下一页的页面。代码如下

最终得到生成的网页链接。并调用Request重新申请这个网页的数据

那么在pipelines.py的文件中。我们同样需要修改下存储的代码。如下。可以看到在这里就不是用json. 而是直接打开txt文件进行存储

完整的代码如下：在这里需要注意两次yield的用法。第一次yield后会自动转到Test1Pipeline中进行数据存储，存储完以后再进行下一次网页的获取。然后通过Request获取下一次网页的内容

对于自动爬取网页scrapy有个更方便的方法：CrawlSpider

前面介绍到的Spider中只能解析在start_urls中的网页。虽然在上一章也实现了自动爬取的规则。但略显负责。在scrapy中可以用CrawlSpider来进行网页的自动爬取。

爬取的规则原型如下：

class scrapy.contrib.spiders.Rule (link_extractor, callback=None, cb_kwargs=None, follow=None,process_links=None, process_request=None)

LinkExtractor.：它的作用是定义了如何从爬取到的的页面中提取链接

Callback指向一个调用函数，每当从LinkExtractor获取到链接时将调用该函数进行处理，该回调函数接受一个response作为第一个参数。注意：在用CrawlSpider的时候禁止用parse作为回调函数。因为CrawlSpider使用parse方法来实现逻辑，因此如果使用parse函数将会导致调用失败

Follow是一个判断值，用来指示从response中提取的链接是否需要跟进

在scrapy shell中提取www.sina.com.cn为例

LinkExtractor中的allow只针对href属性：

例如下面的链接只针对href属性做正则表达式提取

结构如下：可以得到各个链接。

可以通过restrict_xpaths对各个链接加以限制，如下的方法：

实例2：还是以之前的迅读网为例

提取网页中的下一节的地址：

网页地址：

http://www.xunread.com/article/8c39f5a0-ca54-44d7-86cc-148eee4d6615/1.shtml

 下一页的的相对URL地址为2.shtml。

通过如下规则提取出来

>>> item=LinkExtractor(allow=('\d\.shtml')).extract_links(response)

>>> for i in item:

...   print i.ur

...

http://www.xunread.com/article/8c39f5a0-ca54-44d7-86cc-148eee4d6615/2.shtml

也通过导航页面直接获取所有章节的链接：

C:\Users\Administrator>scrapy shell http://www.xunread.com/article/8c39f5a0-ca54

-44d7-86cc-148eee4d6615/index.shtml

 

from scrapy.linkextractors import LinkExtractor

 

>>> item=LinkExtractor(allow=('\d\.shtml')).extract_links(response)

>>> for i in item:

...   print i.url

得到如下全部的链接

那么接下来构造在scrapy中的代码，如下

关键的是rules=(Rule(LinkExtractor(allow=( '\d\.shtml' )),callback= 'parse_item' ,follow=True),) 这个里面规定了提取网页的规则。以上面的例子为例。爬取的过程分为如下几个步骤：

1 从 http://www.xunsee.com/article/8c39f5a0-ca54-44d7-86cc-148eee4d6615/1.shtml 开始，第一调用parse_item ，用xpath 提取网页内容，然后用Rule 提取网页规则，在这里提取到2.shtml 。

2  进入2.shtml.进入2.shtml 后再重复运行第一步的过程。直到Rules 中提取不到任何规则

我们也可以做一下优化，设置start_urls 为页面索引页面

http://www.xunsee.com/article/8c39f5a0-ca54-44d7-86cc-148eee4d6615/index.shtml

这样通过Rule 可以一下提取出所有的链接。然后对每个链接调用parse_item 进行网页信息提取。这样的效率比从1.shtml 要高效很多。