上次完成的url爬取项目并不能满足需求，在此完成了一个更为强大的爬取代码，有需要的可以直接运行，根据自己爬取的网站更改部分正则和形参即可。前排提示：运行需要耐心，因为几千个url爬完的话，还是建议花生瓜子可乐电影准备好。下面是代码，代码有注释，很容易理解。注意：爬虫代码每过一段时间就需要更新，因为爬的东西在变，所以可能过一段时间就要更新爬虫。#-*-coding:utf-8-*-"""CreatedonWedSep2914:01:282018@author
系统 2019-09-27 17:52:48 2337
这段时间用到了scons，这里总结下，也方便我以后查阅。一、安装sconsLinux环境（以CentOS为例）1、yum安装yuminstallscons2、源码安装下载scons：http://http://jaist.dl.sourceforge.net/project/scons/scons/2.3.0/scons-2.3.0.zip安装scons：pythonsetup.pyinstall二、scons常用命令scons-c：可以清除生成的临时文件
系统 2019-09-27 17:51:49 2337
本人之前写过若干“给程序员加财商”的系列文，目的是通过股票案例讲述Python知识点，让大家在学习Python的同时还能掌握相关的股票知识，所谓一举两得。在之前的系列文里，大家能看到K线，均线，成交量的案例，在本文里，大家能看到通过RSI案例讲述Python邮件编程的知识点，在后继系列文里，大家还能看到MACD,BIAS,KDJ等指标相关案例。1RSI指标的原理和算法描述相对强弱指标（RSI）是通过比较某个时段内单股价格的涨跌幅度来判断多空双方的强弱程度，
系统 2019-09-27 17:51:08 2337
Python3系统学习记录1、Python简介2、安装Python3.73、第一个Python程序4、Python基础5、函数6、高级特征7、函数式编程8、模块9、面向对象编程10、面向对象高级编程11、错误、调试和测试12、IO编程13、进程和线程14、正则表达式15、常用内建模块16、常用第三方模块17、virtuallenv18、图形界面19、网络编程1、Python简介--代码简洁，运行速度慢--日常任务、网站(youtobe、Instagram)
系统 2019-09-27 17:49:29 2337
首先说明一下，在python中是没有&&及||这两个运算符的，取而代之的是英文and和or。其他运算符没有变动。接着重点要说明的是python中的a.any()，我之所以会涉及到这个函数，是因为我在设计某个分段数值函数时由于不细心犯的错误引起的。a.any()，根据官方解释：TestwhetheranyelementsofanarrayevaluatetoTruealonganaxis.即针对的是一个list，判断list中的某个元素是否为真，此时只要有一
系统 2019-09-27 17:49:28 2337
matplotlib是功能十分强大的绘制二维图形的Python模块，它用Python语言实现了MATLAB画图函数的易用性，同时又有非常强大的可定制性。它提供了一整套和matlab相似的命令API，十分适合交互式地进行制图。而且也可以方便地将它作为绘图控件，嵌入GUI应用程序中。它的文档相当完备，并且Gallery页面中有上百幅缩略图，打开之后都有源程序。因此如果你需要绘制某种类型的图，只需要在这个页面中浏览、复制、粘贴一下，基本上都能搞定！实例代码如下：
系统 2019-09-27 17:47:56 2337
urllib的基本用法urllib库的基本组成利用最简单的urlopen方法爬取网页html利用Request方法构建headers模拟浏览器操作error的异常操作urllib库除了以上基础的用法外，还有很多高级的功能，可以更加灵活的适用在爬虫应用中，比如：使用HTTP的POST请求方法向服务器提交数据实现用户登录使用代理IP解决防止反爬设置超时提高爬虫效率解析URL的方法本次将会对这些内容进行详细的分析和讲解。POST请求POST是HTTP协议的请求方
系统 2019-09-27 17:38:44 2337
MapReduce与HDFS简介什么是Hadoop？Google为自己的业务需要提出了编程模型MapReduce和分布式文件系统GoogleFileSystem，并发布了相关论文（可在GoogleResearch的网站上获得：GFS、MapReduce）。DougCutting和MikeCafarella在开发搜索引擎Nutch时对这两篇论文做了自己的实现，即同名的MapReduce和HDFS，合起来就是Hadoop。MapReduce的Dataflow如
系统 2019-09-27 17:38:38 2337
AliasMaya中的脚本语言是Mel和Python，据说Houdini未来也会把Python作为主要的脚本语言，作为影视特效师，掌握Python语言是必备技能；虽然Maya内置了Python运行时，但是，如果要系统学习Python语言，环境变量还是需要配置一下~默认情况下，在windows下安装python之后，系统不会自动添加相应的环境变量。此时在命令行输入python命令是不能执行的，配置方法如下：1.首先需要在系统中注册python环境变量：假设p
系统 2019-09-27 17:38:34 2337
UDP套接字是可以使用connect系统调用连接到指定的地址的。从此以后，这个套接字只会接收来自这个地址的数据，而且可以使用send系统调用直接发数据而不用指定地址。可以再次调用connect来连接到别的地方。但是在Python里，一旦调用connect之后，就再也回不到最初的能够接收从任意地址来的数据的状态了！这是Python的API限制，没办法给connect方法传递到AF_UNSPEC地址簇（在C代码里写死了的）。C里边就可以做到的（代码来自这里）：
系统 2019-09-27 17:38:23 2337
