今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为M。爬虫的原理都是一样的，只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 2201
1.reload（）函数Python2：reload()函数封装在sys模块中，使用时：importsysreload()Python3：reload（）不再封装在sys模块中，而是importlib,使用方式如下：importimportlibimportyourfilereload('yourfile')注意：使用reload()函数时需要import你的文件参考文章：https://blog.csdn.net/heifan2014/article/d
系统 2019-09-27 17:50:49 2201
效果左边原图，右面添加字体后保存的图。代码#-*-coding:utf-8-*-importPIL.ImageasImageimportPIL.ImageColorasImageColorimportPIL.ImageDrawasImageDrawimportPIL.ImageFontasImageFont"""author@:xunapython2.7"""#设置字体（LiberationSans-Regular.ttf这是我ubuntu16.04自带的
系统 2019-09-27 17:50:37 2201
前言Python字典update(）方法用于更新字典中的键/值对，可以修改存在的键对应的值，也可以添加新的键/值对到字典中。语法格式d.update(e)参数说明将e中键-值对添加到字典d中，e可能是字典，也可能是键-值对序列。详见实例。返回值该方法没有任何返回值。实例以下实例展示了update()方法的使用方法：d={‘one':1,'two':2}d.update({‘three':3,'four':4})#传一个字典print(d)d.update(
系统 2019-09-27 17:50:31 2201
1.json模块提供了一种很简单的方式来编码和解码JSON数据。其中两个主要的函数是json.dumps()和json.loads()，要比其他序列化函数库如pickle的接口少得多。下面演示如何将一个Python数据结构转换为JSON：'''遇到问题没人解答？小编创建了一个Python学习交流QQ群：857662006寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！'''importjsondata={'name':'ACME
系统 2019-09-27 17:50:20 2201
1.重点知识掌握使用命令行、文件、Jupyter的方式执行Python代码2.HelloWorld！自从C语言之父丹尼斯.M.里奇在《TheCProgrammingLanguage》中写下了第1个"HelloWorld!"程序后，人们在学习一门新语言时，首先打印“HelloWorld!”似乎成了某种约定俗称的仪式。我国是礼仪之邦，礼就是仪式，所以仪式感很重要。so，那么接下来，我们也来编写我们的“HelloWorld!”程序。3.解释器命令行中执行Pyth
系统 2019-09-27 17:50:19 2201
python提供了两个非常重要的功能来处理python程序在运行中出现的异常和错误。你可以使用该功能来调试python程序。异常处理:本站Python教程会具体介绍。断言(Assertions):本站Python教程会具体介绍。python标准异常异常名称描述BaseException所有异常的基类SystemExit解释器请求退出KeyboardInterrupt用户中断执行(通常是输入^C)Exception常规错误的基类StopIteration迭代
系统 2019-09-27 17:49:55 2201
threadpoolmakeRequests的原型如下defmakeRequests(callable_,args_list,callback=None,exc_callback=_handle_thread_exception)，可以看出第一个参数是线程将要启动任务函数，第二个是要传个任务函数的参数列表，第三个是回调函数，可以用于收集任务结束后的结果或者环境清理args_list中每一项要么是一个单独的变量，要么是一个2个元素的元组，该元组第1项是位置参
系统 2019-09-27 17:49:19 2201
--安装python从官方网站下载并安装Python3.x最新版https://www.python.org/downloads/mac-osx/--安装pippip是python第三方包（扩展功能包）安装和管理工具，有了它我们可以安装各种扩展功能终端执行下面的命令，安装pipsudoeasy_installpip--安装virtualenvVirtualenv是用来为每个项目创建单独的python虚拟运行环境，每个项目可以使用不同的第三方包，各个项目互不
系统 2019-09-27 17:48:32 2201
一、简介with是从Python2.5引入的一个新的语法，更准确的说，是一种上下文的管理协议，用于简化try…except…finally的处理流程。with通过__enter__方法初始化，然后在__exit__中做善后以及处理异常。对于一些需要预先设置，事后要清理的一些任务，with提供了一种非常方便的表达。with的基本语法如下，EXPR是一个任意表达式，VAR是一个单一的变量（可以是tuple），”asVAR”是可选的。复制代码代码如下:withE
系统 2019-09-27 17:48:25 2201
