我们直接用Requests、Selenium等库写爬虫，如果爬取量不是太大，速度要求不高，是完全可以满足需求的。但是写多了会发现其内部许多代码和组件是可以复用的，如果我们把这些组件抽离出来，将各个功能模块化，就慢慢会形成一个框架雏形，久而久之，爬虫框架就诞生了。利用框架我们可以不用再去关心某些功能的具体实现，只需要去关心爬取逻辑即可。有了它们，可以大大简化代码量，而且架构也会变得清晰，爬取效率也会高许多。所以如果对爬虫有一定基础，上手框架是一种好的选择。本
系统 2019-09-27 17:53:32 2192
Python字符串转数字importbinasciis='test123456test'str_16=binascii.b2a_hex(s.encode('utf-8'))#字符串转16进制print(str_16)defbaseN(num,b):return((num==0)and"0")or\(baseN(num//b,b).lstrip("0")+"0123456789abcdefghijklmnopqrstuvwxyz"[num%b])num_10
系统 2019-09-27 17:52:40 2192
什么是运算符？本章节主要说明Python的运算符。举个简单的例子4+5=9。例子中，4和5被称为操作数，"+"称为运算符。Python语言支持以下类型的运算符:算术运算符比较（关系）运算符赋值运算符逻辑运算符位运算符成员运算符身份运算符运算符优先级接下来让我们一个个来学习Python的运算符。一.Python算术运算符以下假设变量：a=10，b=20：注意：Python3.x里，整数除整数，得到的是浮点数。>>>1/30.3333333333333333>
系统 2019-09-27 17:52:37 2192
本文分享的实例主要实现的是Python+matplotlib绘制一个有阴影和没有阴影的3D条形图，具体如下。首先看看演示效果：完整代码如下：importnumpyasnpimportmatplotlib.pyplotaspltfrommpl_toolkits.mplot3dimportAxes3D#setupthefigureandaxesfig=plt.figure(figsize=(8,3))ax1=fig.add_subplot(121,projec
系统 2019-09-27 17:52:34 2192
阅读更多操作列表#列表循环for循环（for**in**）1.注意使用for循环时print前要缩进cats=["alice","clear","dell",'moon']forcatincats:print(cat)#可在for循环中执行更多操作#2.不使用for循环时，切记print能缩进cats=["alice","clear","dell",'moon']forcatincats:print(cat)print（"theyaresocute"）#在
系统 2019-09-27 17:51:31 2192
方法一：>>>str1='''Leventselève,ilfauttenterdevivre.起风了，唯有努力生存。（纵有疾风起，人生不言弃。）'''>>>str1'Leventselève,ilfauttenterdevivre.\n起风了，唯有努力生存。\n（纵有疾风起，人生不言弃。）'编辑的时候，引号挺对的，但是不知道为什么发布的时候，第一行的引号总是多了一些，其实应该是下面这样的：不过感觉这种方法不够纯粹，因为字符串里含有\n。方法二：>>>st
系统 2019-09-27 17:50:53 2192
数据聚合与分组处理——数据聚合、分组运算与转换、透视表与交叉表代码#-*-coding:utf-8-*-from__future__importdivisionfromnumpy.randomimportrandnimportnumpyasnpimportosimportmatplotlib.pyplotaspltnp.random.seed(12345)plt.rc('figure',figsize=(10,6))frompandasimportSeri
系统 2019-09-27 17:50:37 2192
之前遇到一个场景是这样的：我在自己的电脑上需要用mongodb图形客户端，但是mongodb的服务器地址没有对外网开放，只能通过先登录主机A，然后再从A连接mongodb服务器B。本来想通过ssh端口转发的，但是我没有从机器A连接ssh到B的权限。于是就自己用python写一个。原理很简单。1.开一个socketserver监听连接请求2.每接受一个客户端的连接请求，就往要转发的地址建一条连接请求。即client->proxy->forward。proxy
系统 2019-09-27 17:50:32 2192
最近要写一款基于被动式的漏洞扫描器，因为被动式是将我们在浏览器浏览的时候所发出的请求进行捕获，然后交给扫描器进行处理，本来打算自己写这个代理的，但是因为考虑到需要抓取https，所以最后找到Mitmproxy这个程序。安装方法：pipinstallmitmproxy接下来通过一个案例程序来了解它的使用，下面是目录结构sproxy|utils|__init__.py|parser.py|sproxy.pysproxy.py代码#coding=utf-8fro
系统 2019-09-27 17:50:22 2192
多个字段模糊查询，括号中的下划线是双下划线，双下划线前是字段名，双下划线后可以是icontains或contains,区别是是否大小写敏感，竖线是或的意思#搜索功能@csrf_exempt#使用@csrf_exempt装饰器，免除csrf验证defsearch_testCaseApi(request):ifrequest.method=='POST':name=request.POST.get('task_name')updateUser=request.
系统 2019-09-27 17:49:23 2192
