最近博主手上有一个爬虫项目，开始深入研究python爬虫开发，这是我篇博客也相当于是我的学习笔记，我认为学习爬虫第一步，先学习python多线程与多进程，熟悉网络编程，接下来会陆续以博客的方式跟大家做分享。多进程Python实现多进程的方式主要有两种，一种方法是使用os模块中的fork方法，另一种方法是使用multiprocessing模块。这两种方法的区别在于前者仅适用于Unix/Linux操作系统，对Windows不支持，后者则是跨平台的实现方式，目前
系统 2019-09-27 17:53:30 1876
先给大家介绍下Selenium3+python3--如何定位鼠标悬停才显示的元素定位鼠标悬停才显示的元素，要引入新模块#coding:utf-8fromseleniumimportwebdriverfromselenium.webdriver.common.action_chainsimportActionChainsdriver=webdriver.Firefox()driver.get("http://www.baidu.com")#定位百度页面上鼠标
系统 2019-09-27 17:53:11 1876
在Python世界中将对象分为两种：一种是定长对象，比如整数，整数对象定义的时候就能确定它所占用的内存空间大小，另一种是变长对象，在对象定义时并不知道是多少，比如：str，list,set,dict等。>>>importsys>>>sys.getsizeof(1000)28>>>sys.getsizeof(2000)28>>>sys.getsizeof("python")55>>>sys.getsizeof("java")53如上，整数对象所占用的内存都是
系统 2019-09-27 17:52:10 1876
简介这篇博文和分类看似没有多大关系，但是也是从上一篇衍生出来的产物，因为涉及到FQ工具Lantern，就算是给关注和支持的小伙伴们拓展一下眼界和知识面。而且好多人都阅读了上一篇没发现那个参考博客点不开吗？那是因为还没来的急，整理和编写，今天再试一下就可以。一个软件可能占用多个端口拥有多个目标IP，下面以FQ工具Lantern为例，说明端口查看方法：1.借助第三方软件查看如果你电脑上安装了360等优化工具，可能会自带查看网络状况的插件如下图：2.命令行窗口查
系统 2019-09-27 17:51:27 1876
图像的轮廓检测，如计算多边形外界、形状毕竟、计算感兴趣区域等。Contours:GettingStarted轮廓简单地解释为连接所有连续点（沿着边界）的曲线，具有相同的颜色或强度.轮廓是形状分析和物体检测和识别的有用工具NOTE为获得更好的准确性，请使用二值图，在找到轮廓之前，应用阈值法或canny边缘检测从OpenCV3.2开始，findContours（）不再修改源图像，而是将修改后的图像作为三个返回参数中的第一个返回在OpenCV中，查找轮廓是从黑色
系统 2019-09-27 17:50:07 1876
原题|Left-recursivePEGgrammars作者|GuidovanRossum（Python之父）译者|豌豆花下猫（“Python猫”公众号作者）声明|本翻译是出于交流学习的目的，基于CCBY-NC-SA4.0授权协议。为便于阅读，内容略有改动。我曾几次提及左递归是一块绊脚石，是时候去解决它了。基本的问题在于：使用递归下降解析器时，左递归会因堆栈溢出而导致程序终止。【这是我的PEG系列的第5部分。其它文章参见这个目录】假设有如下的语法规则：ex
系统 2019-09-27 17:49:40 1876
经历移植jinja2到python3的痛苦之后，我把项目暂时放一放，因为我怕打破python3的兼容。我的做法是只用一个python2的代码库，然后在安装的时候用2to3工具翻译成python3。不幸的是哪怕一点点的改动都会打破迭代开发。如果你选对了python的版本，你可以专心做事，幸运的避免了这个问题。来自MoinMoin项目的ThomasWaldmann通过我的python-modernize跑jinja2，并且统一了代码库，能同时跑python2,
系统 2019-09-27 17:49:06 1876
人生苦短，我选Python。Python比其他的语言来说真的简洁多了，很多时候想做的东西都有对应的模块可以导入，平时玩点小东西真心不错。首先讲一下安装，其实没什么好讲的，点点点点点，完事。这里的AddPython3.7toPATH记得勾上，这样你就可以在CMD里面直接使用Python了（打开cmd，输入python就OK啦。）这里附上最新的Python安装包，win64的。https://www.python.org/ftp/python/3.7.3/py
系统 2019-09-27 17:48:17 1876
conda测试指南在开始这个conda测试之前，你应该已经下载并安装好了Anaconda或者Miniconda注意：在安装之后，你应该关闭并重新打开windows命令行。一、Conda测试过程：使用conda。首先我们将要确认你已经安装好了conda配置环境。下一步我们将通过创建几个环境来展示conda的环境管理功能。使你更加轻松的了解关于环境的一切。我们将学习如何确认你在哪个环境中，以及如何做复制一个环境作为备份。测试python。然后我们将检查哪一个版
系统 2019-09-27 17:48:14 1876
本文实例讲述了python实现ip代理池功能。分享给大家供大家参考，具体如下：爬取的代理源为西刺代理。用xpath解析页面用telnet来验证ip是否可用把有效的ip写入到本地txt中。当然也可以写入到redis、mongodb中，也可以设置检测程序当代理池中的ip数不够（如：小于20个）时，启动该脚本来重新获取ip，本脚本的代码也要做相应的改变。#!/usr/bin/envpython#-*-coding:utf-8-*-#@Version：1.0#@T
系统 2019-09-27 17:47:57 1876
本文实例讲述了python使用zip同时迭代多个序列。分享给大家供大家参考，具体如下：zip可以平行地遍历多个迭代器python3中zip相当于生成器，遍历过程中产生元祖，python2会把元祖生成好，一次性返回整份列表zip(x,y,z)会生成一个可返回元组(x,y,z)的迭代器>>>x=[1,2,3,4,5]>>>y=['a','b','c','d','e']>>>z=['a1','b2','c3','d4','e5']>>>foriinzip(x,y
系统 2019-09-27 17:47:13 1876
正则表达式是Python程序设计中非常实用的功能，本文就常用的正则表达式做一汇总，供大家参考之用。具体如下：一、字符串替换1.替换所有匹配的子串用newstring替换subject中所有与正则表达式regex匹配的子串result,number=re.subn(regex,newstring,subject)2.替换所有匹配的子串（使用正则表达式对象）reobj=re.compile(regex)result,number=reobj.subn(news
系统 2019-09-27 17:46:38 1876
装饰器基本概念大家都知道装饰器是一个很著名的设计模式，经常被用于AOP(面向切面编程)的场景，较为经典的有插入日志，性能测试，事务处理，Web权限校验，Cache等。Python语言本身提供了装饰器语法（@），典型的装饰器实现如下：@function_wrapperdeffunction():pass@实际上是python2.4才提出的语法糖，针对python2.4以前的版本有另一种等价的实现：deffunction():passfunction=func
系统 2019-09-27 17:45:57 1876
前言最近在维护项目的python项目代码，项目使用了python的日志模块logging，设定了保存的日志数目，不过没有生效，还要通过contab定时清理数据。分析项目使用了logging的TimedRotatingFileHandler：#!/user/bin/envpython#-*-coding:utf-8-*-importloggingfromlogging.handlersimportTimedRotatingFileHandlerlog=log
系统 2019-09-27 17:38:11 1876
set在python里是什么意思?set是一组数，无序，内容又不能重复，通过调用set()方法创建：>>>s=set(['A','B','C'])对于访问一个set的意义就仅仅在于查看某个元素是否在这个集合里面，注意大小写敏感：>>>print'A'insTrue>>>print'D'insFalse也通过for来遍历：s=set([('Adam',95),('Lisa',85),('Bart',59)])forxins:printx[0],':',x[1
系统 2019-09-27 17:38:10 1876
