最近博主手上有一个爬虫项目，开始深入研究python爬虫开发，这是我篇博客也相当于是我的学习笔记，我认为学习爬虫第一步，先学习python多线程与多进程，熟悉网络编程，接下来会陆续以博客的方式跟大家做分享。多进程Python实现多进程的方式主要有两种，一种方法是使用os模块中的fork方法，另一种方法是使用multiprocessing模块。这两种方法的区别在于前者仅适用于Unix/Linux操作系统，对Windows不支持，后者则是跨平台的实现方式，目前
系统 2019-09-27 17:53:30 1816
汇总整理一套Python网页爬虫，文本处理，科学计算，机器学习和数据挖掘的兵器谱。1.Python网页爬虫工具集一个真实的项目，一定是从获取数据开始的。无论文本处理，机器学习和数据挖掘，都需要数据，除了通过一些渠道购买或者下载的专业数据外，常常需要大家自己动手爬数据，这个时候，爬虫就显得格外重要了，幸好，Python提供了一批很不错的网页爬虫工具框架，既能爬取数据，也能获取和清洗数据，也就从这里开始了：1.1Scrapy鼎鼎大名的Scrapy，相信不少同学
系统 2019-09-27 17:53:22 1816
Python面向对象编程——异常处理一、什么是异常异常就是程序运行时发生错误的信号（在程序出现错误时，则会产生一个异常，若程序没有处理它，则会抛出该异常，程序的运行也随之终止），在python中,错误触发的异常如下：而错误分成两种1、语法错误（这种错误，根本过不了python解释器的语法检测，必须在程序执行前就改正）#语法错误示范一if#语法错误示范二deftest:pass#语法错误示范三classFoopass#语法错误示范四print(haha)2、
系统 2019-09-27 17:53:13 1816
本文实例为大家分享了python微信跳一跳的具体代码，供大家参考，具体内容如下部分代码分享：wechat_jump.pyfrom__future__importprint_functionimportnumpyasnpimportmatplotlib.pyplotaspltimportmatplotlib.animationasanimationimportmathimporttimeimportosimportcv2importdatetimescale
系统 2019-09-27 17:52:45 1816
本文实例讲述了python日志logging模块使用方法。分享给大家供大家参考，具体如下：一、从一个使用场景开始开发一个日志系统，既要把日志输出到控制台，还要写入日志文件importlogging#创建一个loggerlogger=logging.getLogger('mylogger')logger.setLevel(logging.DEBUG)#创建一个handler，用于写入日志文件fh=logging.FileHandler('test.log')
系统 2019-09-27 17:51:47 1816
Python3快速入门（七）——Python3正则表达式1、re模块简介re模块提供Perl风格的正则表达式模式，使Python语言拥有全部的正则表达式功能。2、正则表达式模式模式字符串使用特殊的语法来表示一个正则表达式：正则表达式模式中的字母和数字匹配同样的字符串；多数字母和数字前加一个反斜杠时会有不同的含义；标点符号通常有特殊的含义，只有被转义时才匹配自身；反斜杠本身需要使用反斜杠转义。^匹配字符串的开头$匹配字符串的末尾.匹配任意字符，除了换行符，当
系统 2019-09-27 17:51:33 1816
简介这篇博文和分类看似没有多大关系，但是也是从上一篇衍生出来的产物，因为涉及到FQ工具Lantern，就算是给关注和支持的小伙伴们拓展一下眼界和知识面。而且好多人都阅读了上一篇没发现那个参考博客点不开吗？那是因为还没来的急，整理和编写，今天再试一下就可以。一个软件可能占用多个端口拥有多个目标IP，下面以FQ工具Lantern为例，说明端口查看方法：1.借助第三方软件查看如果你电脑上安装了360等优化工具，可能会自带查看网络状况的插件如下图：2.命令行窗口查
系统 2019-09-27 17:51:27 1816
爬虫即网络爬虫，英文是WebSpider。翻译过来就是网络上爬行的蜘蛛，如果把互联网看作一张大网，那么爬虫就是在大网上爬来爬去的蜘蛛，碰到想要的食物，就把他抓取出来。我们在浏览器中输入一个网址，敲击回车，看到网站的页面信息。这就是浏览器请求了网站的服务器，获取到网络资源。那么，爬虫也相当于模拟浏览器发送请求，获得到HTML代码。HTML代码里通常包含了标签和文字信息，我们就从中提取到我们想要的信息。通常爬虫是从某个网站的某个页面开始，爬取这个页面的内容，找
系统 2019-09-27 17:51:07 1816
本文主要是记录ubuntu16.04下python环境配置，具体内容如下对于ubuntu16.04，由于本身是自带python，这样就减少了在windows下的下载和环境变量配置，非常不错。但是他本身是自带两个版本的python，2.X和3.X,两个版本，两个版本默认的是使用2.X，毕竟3.X是一个趋势，今后我这边应该也会主要使用3.X版本，所以这里记录一下如果在版本间切换以及如何把python版本切换到3.X下的方法。一、确认本机下的python默认版本
系统 2019-09-27 17:51:01 1816
pythonredis连接有序集合去重的代码如下所述：#-*-coding:utf-8-*-importredisfromconstantimportredis_ip,redis_db,redis_pw,redis_zset_namepool=redis.ConnectionPool(host=redis_ip,db=redis_db,password=redis_pw)#pool=redis.ConnectionPool(db=6,password=re
系统 2019-09-27 17:51:00 1816
