今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为M。爬虫的原理都是一样的，只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 2230
事情是这样的，我写了一个tornado的服务，过程当中我用logging记录一些内容，由于一开始并没有仔细观察tornado自已的日志管理，所以我就一般用debug来记录普通日志，error记录有问题的日志，但是当服务跑起来以后才发现，tornado的访问日志的级别是info，也就是20，debug是10的，所以如果我定义了日志的级别是debug，那么默认情况下肯定也会输出到日志文件中的。但是我现在并不关心访问日志，而且由于我这个服务可能每时每刻都会有访问
系统 2019-09-27 17:50:30 2230
1.重点知识掌握使用命令行、文件、Jupyter的方式执行Python代码2.HelloWorld！自从C语言之父丹尼斯.M.里奇在《TheCProgrammingLanguage》中写下了第1个"HelloWorld!"程序后，人们在学习一门新语言时，首先打印“HelloWorld!”似乎成了某种约定俗称的仪式。我国是礼仪之邦，礼就是仪式，所以仪式感很重要。so，那么接下来，我们也来编写我们的“HelloWorld!”程序。3.解释器命令行中执行Pyth
系统 2019-09-27 17:50:19 2230
--安装python从官方网站下载并安装Python3.x最新版https://www.python.org/downloads/mac-osx/--安装pippip是python第三方包（扩展功能包）安装和管理工具，有了它我们可以安装各种扩展功能终端执行下面的命令，安装pipsudoeasy_installpip--安装virtualenvVirtualenv是用来为每个项目创建单独的python虚拟运行环境，每个项目可以使用不同的第三方包，各个项目互不
系统 2019-09-27 17:48:32 2230
背景：最近写的Python代码不知为何，总是执行到一半卡住不动，为了使程序能够继续运行，设置了函数调用超时机制。代码：importtimeimportsignaldeftest(i):time.sleep(i%4)print"%dwithintime"%(i)returniif__name__=='__main__':defhandler(signum,frame):raiseAssertionErrorforiinrange(1,10):try:sign
系统 2019-09-27 17:48:29 2230
python基础（1）：基础操作：python是一个解释性语言。故可以直接通过命令行与python解释器交互：In[1]:a=1In[2]:print(a)1在python中，+-*分别表示加减乘，但/表示的是浮点除法，而//表示地板除法，**表示乘方，%表示求余#用'#'表示注释a=3+2#5b=a-2#3c=a*b#15d=5/2#2.5e=5//2#2f=5%2#1字符串python的字符串使用单引号(’')或者双引号(""),但须成对出现，对应即可
系统 2019-09-27 17:48:29 2230
一、简介with是从Python2.5引入的一个新的语法，更准确的说，是一种上下文的管理协议，用于简化try…except…finally的处理流程。with通过__enter__方法初始化，然后在__exit__中做善后以及处理异常。对于一些需要预先设置，事后要清理的一些任务，with提供了一种非常方便的表达。with的基本语法如下，EXPR是一个任意表达式，VAR是一个单一的变量（可以是tuple），”asVAR”是可选的。复制代码代码如下:withE
系统 2019-09-27 17:48:25 2230
在Python列表操作中：列表乘以某一个数，如list2=list1*2得到一个新的列表是list1的元素重复n次，且list1不改变。但运行如下代码时，得到的新列表b中，b[0]和b[1]的地址相同，即对b[0]进行操作，b[1]也会发生改变。a=[0]b=[a]*2print(b)b[0].append(1)print(b)输出为：[[0],[0]][[0,1],[0,1]]随后尝试以下几种代码：代码（1）a=[0]b=[afor_inrange(2)
系统 2019-09-27 17:48:16 2230
思路：1、画一张白色的图片（大小为：200*50）2、逐个填充像素点，每个像素点随机3、往图片上写入字符字符随机生成字符的颜色是随机的字符的组成：大写字母、小写字母以及数字fromPILimportImage,ImageDraw,ImageFontimportnumpyasnpdefbgcolor():returnnp.random.randint(64,255),np.random.randint(64,255),np.random.randint(64
系统 2019-09-27 17:48:05 2230
本系列Python文章基于Python3版本，关于python的安装和配置自行百度，这里不做详细介绍。接下来将介绍Python基础——数据类型和变量。数据类型在Python中，能够直接处理的数据类型有以下几种：整型Python中可以处理任意大的整数，包括负整数。支持二进制（如0b100，换算成十进制是4）、八进制（0o100，换算成十进制是64）、十六进制（0x100，换算成十进制为256）的表示法。浮点型浮点数也就是小数，之所以称为浮点数，是因为按照科学
系统 2019-09-27 17:47:56 2230
