今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为M。爬虫的原理都是一样的，只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 2086
最简单的网页取源（不用模拟浏览器的情况）1importrequests2defgetHTML(url):3try:4r=requests.get(url,timeout=30)5r.raise_for_status()6r.encoding='utf-8'7returnr.text8except:9return""10url="http://baidu.com"11print(getHTML(url))
系统 2019-09-27 17:50:19 2086
1.这几天陆续收到很多读者、球友的留言、私信，说要怎么学Python？有没有基础的，偏小白的学习方法？我的回答是：等我统一答复。小胖从不食言，今天就来说说我觉得一个零基础、想转行、一直不得法的人应该如何入门。2.对于Python来说，一直有个误区，那就是「Python很简单」。不知道你有没有、或者曾经有过这样的想法。我也能理解，毕竟一句话就能打印helloworld，3行代码就能人脸识别，真的太简单了。但这真的是Python的全部吗？如果你只是满足于依靠强
系统 2019-09-27 17:49:49 2086
一只青蛙一次可以跳上1级台阶，也可以跳上2级。求该青蛙跳上一个n级的台阶总共有多少种跳法（先后次序不同算不同的结果）。n==1时，f(n)==1n==2时，f(n)==2n==3时，f(n)=f(2)+f(1)=最后一步跳1个+最后一步跳2个n==4时，f(n)=f(3)+f(2)=最后一步跳1个+最后一步跳2个···n-->f(n)==f(n-1)+f(n-2)#-*-coding:utf-8-*-classSolution:defjumpFloor(s
系统 2019-09-27 17:48:42 2086
#输出字典d1的键值和键值个数d1={'x':1,'y':2,'z':3}d1={'x':1,'y':2,'z':3}keylist=d1.keys()whilekeylist:print(keylist(0))keylist.pop(0)else:print(len(d))报错：TypeError:'dict_keys'objectisnotcallablehttps://stackoverflow.com/questions/17322668/type
系统 2019-09-27 17:48:32 2086
一、简介with是从Python2.5引入的一个新的语法，更准确的说，是一种上下文的管理协议，用于简化try…except…finally的处理流程。with通过__enter__方法初始化，然后在__exit__中做善后以及处理异常。对于一些需要预先设置，事后要清理的一些任务，with提供了一种非常方便的表达。with的基本语法如下，EXPR是一个任意表达式，VAR是一个单一的变量（可以是tuple），”asVAR”是可选的。复制代码代码如下:withE
系统 2019-09-27 17:48:25 2086
写python协程时使用gevent模块和queue模块可以大大提高爬虫速度。在同时爬取多个网站时，原来用for循环一个网站一个网站按循序顺序爬，就像先烧饭后烧菜，两个步骤异步进行。使用多协程可以让爬虫自己选择爬取顺序，就像边烧饭边烧菜，两个步骤同步进行，速度自然快了。不多说了，来看下代码吧：fromgeventimportmonkeymonkey.patch_all()#打上多协程布丁，下面的程序就可以执行多协程了importrequests,geven
系统 2019-09-27 17:47:59 2086
前几天，我估摸着做一个能生成QRCode小程序，并能用wxPython在屏幕上显示出来。当然，我想用纯Python实现，观望了一会后，我找到了三个候选：github上的python-qrcodesourceforge上的pyqrcodeGoolgecode上的pyqrnative我尝试了python-qrcode以及pyqrnative，因为它们能够运行在Windows/Mac/Linux。也不需要依赖额外的其他库除了Python图像库。pyqrcode项
系统 2019-09-27 17:47:37 2086
递归和迭代从本质上看都是循环的一种，递归通过在循环中调用自身，而迭代则通过某段代码实现循环一般来说：迭代的思想会使问题简单化，但计算过程会十分繁琐，因为参数要通过传递的形式先到达递归条件值，然后再一层一层返回，会占用大量内存，只适用于小型的问题求解。一、递归：它通常把一个大型复杂的问题层层转化为一个与原问题相似的规模较小的问题来求解，递归策略只需少量的程序就可描述出解题过程所需要的多次重复计算，大大地减少了程序的代码量注意：递归就是在过程或函数里面调用自身
系统 2019-09-27 17:47:18 2086
本文深入剖析了python中dict,set,list,tuple应用及对应示例，有助于读者对其概念及原理的掌握。具体如下：1.字典(dict)dict用{}包围dict.keys(),dict.values(),dict.items()hash(obj)返回obj的哈希值，如果返回表示可以作为dict的keydel或dict.pop可以删除一个item,clear清除所有的内容sorted(dict)可以把dict排序dict.get()可以查找没存在的
系统 2019-09-27 17:47:12 2086
