今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为M。爬虫的原理都是一样的，只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 1911
1.函数名的运用你们说一下，按照你们的理解，函数名是什么？函数名的定义和变量的定义几乎一致，在变量的角度，函数名其实就是一个变量，具有变量的功能：可以赋值；但是作为函数名他也有特殊的功能就是加上()就会执行对应的函数，所以我们可以把函数名当做一个特殊的变量，那么接下来，我们就来研究一下这个特殊的变量。1.1函数的内存地址deffunc():print("呵呵")print(func)结果:通过上面代码可以我们知道，函数名指向的是这个函数的内存地址，其
系统 2019-09-27 17:50:42 1911
python动态进度条的实现代码，具体内容如下所示：有时候我们需要使用print打印工作进度,正常使用print函数会导致刷屏的现象,举个最简单的例子,从1打印到10,每次停顿0.1秒这样看起来很麻烦,有没有办法实现动态的进度显示呢?我们可以使用'\r',这个命令可以使光标重新返回头部,之后设置end='',取消python的打印自动换行的功能importtimeforiinrange(10):print('\r比例',i/10,end='')time.s
系统 2019-09-27 17:50:08 1911
在做自动化测试时，遇到两种情况需要判断usb是否已连接上（注，本文仅针对用adb命令来control手机）一种是在开测时（前提是同时要测试多台),希望等待所有设备usb全部识别后同时进行测试。对于这一种，当然是可以另开一个窗口不断的输入adbdevices来检测，但不够AI。一种是在测试过程中有时usb会自动断开，这时如果不判断usb是否有重新连接的话，则测试还会往下执行，测试指定是失败的。第一种情况：其思路还是要利用adbdevices来不断的获取当前已
系统 2019-09-27 17:49:57 1911
可以把多个页面相同的部分提取出来，放在一个母板里，这些页面只需要继承这个母板就好了通常会在母板中定义页面专用的CSS块和JS块，方便子页面替换定义块：{%block名字%}{%endblock%}views.py中添加函数：fromdjango.shortcutsimportrender,redirect,HttpResponsefromapp01importmodelsimportdatetimedefmuban_test(request):return
系统 2019-09-27 17:47:39 1911
virtualenv用于创建独立的Python环境，多个Python相互独立，互不影响，它能够：1.在没有权限的情况下安装新套件2.不同应用可以使用不同的套件版本3.套件升级不影响其他应用安装复制代码代码如下:sudoapt-getinstallpython-virtualenv使用方法[code]virtualenv[虚拟环境名称]如，创建**ENV**的虚拟环境复制代码代码如下:virtualenvENV默认情况下，虚拟环境会依赖系统环境中的sitep
系统 2019-09-27 17:47:21 1911
S=Sum(Ai*Wi),i=0,.......16(现在的身份证号码都是18位长，其中最后一位是校验位，15位的身份证号码好像不用了)Ai对应身份证号码，Wi则为用于加权计算的值，它一串固定的数值，应该是根据某种规则得出的吧，用于取得最好的随机性，Wi的取之如下：7910584216379105842经过加权计算之后，得到一个S，用这个S去模11，取余值，然后查表得到校验位，这个索引表如下：0-----11-----02-----x3-----94---
系统 2019-09-27 17:46:48 1911
前期准备（烦）装好python传送门！去欧洲中心申请一个账号传送自己看着申请吧，可能要翻墙申请Python的前期配置欧洲中心自带教程传送门简单来说，就是用python链接欧洲中心的api接口调用并下载数据所以前期配置分两步1、让电脑保留你的登录用户信息，并且可以让Python识别、使用2、Python安装一个用于调用欧洲中心api接口的库下面介绍详细步骤第一步获取ECMWF的Key首先登录欧洲中心官网然后上一个传送门就变成这样(我打了马赛克)你可以得到灰色
系统 2019-09-27 17:46:19 1911
一、闭包1.定义：当一个函数在内部定义函数，并且内部的函数应用外部函数的参数或者局部变量，当内部函数被当做返回值的时候，相关参数和变量保存在返回的函数之中，这种结果，叫做闭包。2.例子：连载17中的myF4就是一个典型的例子。3.闭包常见的坑defcount():#定义列表fs=[]foriinrange(1,4):deff():returni*ifs.append(f)#按照我们的预期，应该是fs=[f,f,f].其中f中一次包含1，4，9，这样才对，
系统 2019-09-27 17:45:44 1911
网易云音乐的评论里总会有大批的神评论，突发灵感想写个爬虫爬取评论，后来发现百度的方法都需要AES加密的密钥，太麻烦了，本人小白表示看不懂，在知乎上看到网易云有API接口可以直接爬取，不需要任何密钥。具体代码如下：#coding:utf-8importreimporttimefromurllibimportrequestclassPL:def__init__(self):#定义初始信息#定义http头信息self.headers={"User-Agent":
系统 2019-09-27 17:45:44 1911
