前面介绍的scrapy爬虫只能爬取单个网页。如果我们想爬取多个网页。比如网上的小说该如何如何操作呢。比如下面的这样的结构。是小说的第一篇。可以点击返回目录还是下一页对应的网页代码：我们再看进入后面章节的网页，可以看到增加了上一页对应的网页代码：通过对比上面的网页代码可以看到.上一页，目录，下一页的网页代码都在下的元素的href里面。不同的是第一章只有2个元素，从二章开始就有3个元素。因此我们可以通过下元素的个数来判决是否含有上一页和下一页的页面。代码如下最
系统 2019-09-27 17:53:35 2626
关于我一个有思想的程序猿，终身学习实践者，目前在一个创业团队任teamlead，技术栈涉及Android、Python、Java和Go，这个也是我们团队的主要技术栈。Github：https://github.com/hylinux1024微信公众号：终身开发者(angrycode)Flask中全局变量有current_app、request、g和session。不过需要注意的是虽然标题是写着全局变量，但实际上这些变量都跟当前请求的上下文环境有关，下面一起
系统 2019-09-27 17:52:39 2626
今天上网找资料的时候发现一个很实用的小技巧,与大家分享.哈哈.由于我们以后会经常在命令行下执行命令，每次打开一个新的命令行窗口默认的当前目录都是C:\DocumentsandSettings\$UserName，这样在执行命令之前都要切换目录，很麻烦，所以我们先来解决这个问题。在“开始”－“运行”中输入“regedit”，打开注册表。找到\HKEY_CLASSES_ROOT\Folder\shell，如果没有shell，可以在Folder下新建一个名为sh
系统 2019-08-29 23:08:54 2626
这个是不带动画效果，要动画效果的看后面的文章。publicclassTabSwitcherextendsLinearLayout{privatestaticfinalStringtag="TabSwitcher";privateContextcontext;privateString[]texts;privateintarrayId;privateintselectedPosition=0;privateintoldPosition=selectedPos
系统 2019-08-29 22:18:10 2626
运行效果如下，分别是折叠状态的tabview和展开状态的tabview：一、新建UITableViewController.h文件如下，包含了一个用于显示的视图tableview和用于表示模型数据的MutableArray.@interfaceGDXXDetailVC:UITableViewController{UITableV
系统 2019-08-29 22:04:53 2626
一SNMP协议介绍简单网络管理协议（SNMP：SimpleNetworkManagementProtocol）是由互联网工程任务组（IETF：InternetEngineeringTaskForce）定义的一套网络管理协议。该协议基于简单网关监视协议（SGMP：SimpleGatewayMonitorProtocol）。利用SNMP，一个管理工作站可以远程管理所有支持这种协议的网络设备，包括监视网络状态、修改网络设备配置、接收网络事件警告等。虽然SNMP开
系统 2019-08-12 09:29:56 2626
NLP的文本分类过程中，大多会统计文章的词频，这是分类的重要依据之一。词频是由一个pair组成的，word是keyfrequece是value。用什么方法统计最好，当然是map。用vector，list也可以实现，但是它们基于关键字的检索效率没有map高，map一般是用rb-Tree实现的，查找效率是O(log(n))，list，vector都是线性的，查找复杂度是O(n)。先上代码。header#ifndef_WORD_FREQUENCE_#define
系统 2019-08-12 09:27:06 2626
在使用命令导数据过程中，出现如下错误sqoopimport--hive-import--connectjdbc:oracle:thin:@192.168.29.16:1521/testdb--usernameNAME--passordPASS--verbose-m1--tableT_USERINFO错误1：Filedoesnotexist:hdfs://opt/sqoop-1.4.4/lib/commons-io-1.4.jarFileNotFoundEx
系统 2019-08-12 01:54:36 2626
SQLServer2008有180天的试用期，过期后会提示“评估期已过”的提示。修改注册表：KEY_LOCAL_MACHINE\SOFTWARE\Microsoft\MicrosoftSQLServer\100\ConfigurationState里的“CommonFiles”值改成3，执行下面的操作1、进入SQLServer安装中心：2、选择“维护”-“版本升级”3、输入密钥：其他的根据提示操作。附SQLServer序列号：开发版:PTTFM-X467G
系统 2019-08-12 01:53:10 2626
MYSQL在创建索引后对索引的使用方式分为两种：1由数据库的查询优化器自动判断是否使用索引；2用户可在写SQL语句时强制使用索引下面就两种索引使用方式进行说明第一种，自动使用索引。数据库在收到查询语句后会查看where语句后面的查询条件，同时查看在表上面有哪些索引，然后根据查询条件和索引进行匹配。查询条件和索引的匹配包括查询字段与索引字段的匹配和查询类型和索引类型的匹配。前者很好理解，就是查询条件的属性上要建有索引，后者则是说查询条件必须能够使用索引，比如
系统 2019-08-12 01:52:50 2626
