我们直接用Requests、Selenium等库写爬虫，如果爬取量不是太大，速度要求不高，是完全可以满足需求的。但是写多了会发现其内部许多代码和组件是可以复用的，如果我们把这些组件抽离出来，将各个功能模块化，就慢慢会形成一个框架雏形，久而久之，爬虫框架就诞生了。利用框架我们可以不用再去关心某些功能的具体实现，只需要去关心爬取逻辑即可。有了它们，可以大大简化代码量，而且架构也会变得清晰，爬取效率也会高许多。所以如果对爬虫有一定基础，上手框架是一种好的选择。本
系统 2019-09-27 17:53:32 2349
pythoneval函数功能：将字符串str当成有效的表达式来求值并返回计算结果。函数定义：eval(expression,globals=None,locals=None)将字符串str当成有效的表达式来求值并返回计算结果。globals和locals参数是可选的，如果提供了globals参数，那么它必须是dictionary类型；如果提供了locals参数，那么它可以是任意的map对象。python的全局名字空间存储在一个叫globals()的dict
系统 2019-09-27 17:53:18 2349
之前用了谷歌的selenium模块，为了练习一下所以写了这个（没错才不是别的理由！）代码里涉及到了各种复杂的情况，包括要找的div在别的iframe中的处理方式，顶部导航栏的定位方式等等。综合性很强下面是代码fromseleniumimportwebdriverimporttimefromfake_useragentimportUserAgentopt=webdriver.ChromeOptions()#opt.add_argument('--headle
系统 2019-09-27 17:52:24 2349
最近要写一款基于被动式的漏洞扫描器，因为被动式是将我们在浏览器浏览的时候所发出的请求进行捕获，然后交给扫描器进行处理，本来打算自己写这个代理的，但是因为考虑到需要抓取https，所以最后找到Mitmproxy这个程序。安装方法：pipinstallmitmproxy接下来通过一个案例程序来了解它的使用，下面是目录结构sproxy|utils|__init__.py|parser.py|sproxy.pysproxy.py代码#coding=utf-8fro
系统 2019-09-27 17:50:22 2349
Stringpython3中，所有不同语言的字符串都是Unicodefruit='banana'fruit[0]='b'fruit[0:4]='bana',我们不可以用fruit[0]='B'来修改字符串，但是List可以len(fruit)#字符串长度forletterinfruit:#输出这个字符串中的所有字符ifletter=='a':#可以用等号来判断字符或字符串是否相等after=before+'aaa'#字符串拼接（拼接后中间没有空格）if'f
系统 2019-09-27 17:50:00 2349
目录一、什么是进程池或线程池二、理解同步、异步、三、multiprocess.Pool模块实现进程池3.1.1Pool使用方法3.1.1代码实例——multiprocess.Pool四、Python标准模块——concurrent.futures实现进程池和线程池4.1介绍4.2基本方法4.3代码实例——ProcessPoolExecutor方式1:方式2:方式34.4代码实例——ThreadPoolExecutor方式1：方式2：方式3：一、什么是进程池
系统 2019-09-27 17:49:43 2349
我们在进行编程学习的时候，不管学习什么编程语言都会用到字符串，对于字符串的一些操作，我们很有必要学的精通一点。我们在操作字符串的时候用到split用法，主要用来将字符串根据某些特殊要求分割成为不同的几部分，如图所示，我们使用点号将字符串分成三部分分别提取出来。replace用法，主要是用来使用一些字符代替原来字符串中的一些字符，如图所示，我们将需要被替代的字符和要用到的衣服都写在括号中完成替代操作。strip可以用来去掉字符串前后面指定的一些字符，可以将字
系统 2019-09-27 17:49:13 2349
Python模块EasyGui详细介绍前言：在Windows想用Python开发一些简单的界面，所以找到了很容易上手的EasyGui库。下面就分享一下简单的使用吧。参考的链接：官网Tutorial接下来，我将从简单，到复杂一点点的演示如何使用这个模块。希望能给刚接触easygui的你一点帮助:-)msgBox,ccbox,ynbox#coding:utf-8#__author__='Marksinoberg'#__date__='2016/5/25'#__
系统 2019-09-27 17:48:21 2349
希尔排序思想：算法先将要排序的一组数按某个增量d分成若干组，每组中记录的下标相差d.对每组中全部元素进行排序，然后再用一个较小的增量对它进行，在每组中再进行排序。当增量减到1时，整个要排序的数被分成一组，排序完成。一般的初次取序列的一半为增量，以后每次减半，直到增量为1。defshell_sort(list):n=len(list)gap=n//2new_list=[]whilegap>1:foriinrange(gap):iflist[i]>list[i
系统 2019-09-27 17:48:17 2349
在爬取的过程中难免发生ip被封和403错误等等，这都是网站检测出你是爬虫而进行反爬措施，在这里为大家总结一下怎么用IP代理防止被封首先，设置等待时间：常见的设置等待时间有两种，一种是显性等待时间（强制停几秒），一种是隐性等待时间（看具体情况，比如根据元素加载完成需要时间而等待）图1是显性等待时间设置，图2是隐性第二步，修改请求头：识别你是机器人还是人类浏览器浏览的重要依据就是User-Agent，比如人类用浏览器浏览就会使这个样子的User-Agent：'
系统 2019-09-27 17:46:26 2349
