今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为M。爬虫的原理都是一样的，只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 2131
UnicodeDecodeError:'gbk'codeccan'tdecodebyte0x80inposition128:illegalmultibytesequence说到底是open()使用方法。原本程序是这样的：（重点看第4行）fromtkinterimport*importosdefopenFile():f=open('D:\Pythoncharmprojccts\SC\main_window.py',mode='r')whileTrue:dat
系统 2019-09-27 17:50:35 2131
前言Python字典update(）方法用于更新字典中的键/值对，可以修改存在的键对应的值，也可以添加新的键/值对到字典中。语法格式d.update(e)参数说明将e中键-值对添加到字典d中，e可能是字典，也可能是键-值对序列。详见实例。返回值该方法没有任何返回值。实例以下实例展示了update()方法的使用方法：d={‘one':1,'two':2}d.update({‘three':3,'four':4})#传一个字典print(d)d.update(
系统 2019-09-27 17:50:31 2131
字符串在Python中创建字符串对象非常容易。只要将所需的文本放入一对引号中，就完成了一个新字符串的创建（参见清单1）。如果稍加思考的话，您可能会感到有些困惑。毕竟，有两类可以使用的引号：单引号(')和双引号(")。幸运的是，Python再一次使这种问题迎刃而解。您可以使用任意一类引号来表示Python中的字符串，只要引号一致就行。如果字符串是以单引号开始，那么必须以单引号结束，反之亦然。如果不遵循这一规则，则会出现SyntaxError异常。清单1.在P
系统 2019-09-27 17:49:48 2131
s与==区别：is用于判断两个变量引用对象是否为同一个，==用于判断引用变量的值是否相等。aisb相当于id(a)==id(b)，id()能够获取对象的内存地址。如果a=10;b=a;则此时a和b的内存地址一样的;但当a=[1,2,3];另b=a[:]时，虽然a和b的值一样，但内存地址不一样。如果此时定义a=10、b=10,然后再对比aisb会发现返回的结果是True，这是因为在Python中会实现创建一个小型的整形池，范围为[-5,256]，为这些整形开
系统 2019-09-27 17:49:44 2131
代码来源：《Python神经网络编程》手写数据集下载地址:1.训练数据集2.测试数据集摘要本文代码主要讲解基于Python的简单神经网络构建用于识别手写数据集，类模块具有通用性，在分析清楚问题后可以加以改动，运用于其他方面。代码importnumpy#scipy.specialforthesigmoidfunctionexpit()importscipy.specialimportmatplotlib.pyplotasplt#neuralnetworkcl
系统 2019-09-27 17:49:14 2131
#登录认证#加密-->解密#摘要算法#两个字符串：#importhashlib#提供摘要算法的模块md5=hashlib.md5()md5.update(b'123456')print(md5.hexdigest())#aee949757a2e698417463d47acac93df#不管算法多么不同，摘要的功能始终不变#对于相同的字符串使用同一个算法进行摘要，得到的值总是不变的#使用不同算法对相同的字符串进行摘要，得到的值应该不同#不管使用什么算法，ha
系统 2019-09-27 17:49:08 2131
--安装python从官方网站下载并安装Python3.x最新版https://www.python.org/downloads/mac-osx/--安装pippip是python第三方包（扩展功能包）安装和管理工具，有了它我们可以安装各种扩展功能终端执行下面的命令，安装pipsudoeasy_installpip--安装virtualenvVirtualenv是用来为每个项目创建单独的python虚拟运行环境，每个项目可以使用不同的第三方包，各个项目互不
系统 2019-09-27 17:48:32 2131
1.何时使用线程池系统启动一个新线程的成本是比较高的，因为它涉及与操作系统的交互。在这种情形下，使用线程池可以很好地提升性能；尤其是当程序中需要创建大量生存期很短暂的线程时，更应该考虑使用线程池。线程池在系统启动时即创建大量空闲的线程，程序只要将一个函数提交给线程池，线程池就会启动一个空闲的线程来执行它。当该函数执行结束后，该线程并不会死亡，而是再次返回到线程池中变成空闲状态，等待执行下一个函数。使用线程池可以有效地控制系统中并发线程的数量。当系统中包含有
系统 2019-09-27 17:48:26 2131
一、简介with是从Python2.5引入的一个新的语法，更准确的说，是一种上下文的管理协议，用于简化try…except…finally的处理流程。with通过__enter__方法初始化，然后在__exit__中做善后以及处理异常。对于一些需要预先设置，事后要清理的一些任务，with提供了一种非常方便的表达。with的基本语法如下，EXPR是一个任意表达式，VAR是一个单一的变量（可以是tuple），”asVAR”是可选的。复制代码代码如下:withE
系统 2019-09-27 17:48:25 2131
