今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为M。爬虫的原理都是一样的，只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 2171
今天遇到一个需求，就是将一个list文件读取后，存入一个txt配置文件。存入时，发现list文件无法直接存入，必须转为str模式。但在读取txt时，就无法恢复成list类型来读取了（准确地说，即使强行使用list读取，读出来的也是单个的字符）。查了查资料，发现json.loads和json.dumps这对兄弟提供了一个很好的办法。下面看代码#python3.6#!/usr/bin/envpython#-*-coding:utf-8-*-__author__
系统 2019-09-27 17:50:48 2171
Python窗体输入、展示并存储数据利用python的tkinter进行窗体开发，可以实现输入框，以及利用get函数获取输入框的数据，并将这些数据存储到本地，如果利用数据库，也可以把窗体获取的数据导入到数据库中fromtkinterimport*importtkinter.messageboxasmessageboxroot=Tk()root.title("信息输入框")root.geometry('300x300')input1=Label(root,t
系统 2019-09-27 17:50:46 2171
1.这几天陆续收到很多读者、球友的留言、私信，说要怎么学Python？有没有基础的，偏小白的学习方法？我的回答是：等我统一答复。小胖从不食言，今天就来说说我觉得一个零基础、想转行、一直不得法的人应该如何入门。2.对于Python来说，一直有个误区，那就是「Python很简单」。不知道你有没有、或者曾经有过这样的想法。我也能理解，毕竟一句话就能打印helloworld，3行代码就能人脸识别，真的太简单了。但这真的是Python的全部吗？如果你只是满足于依靠强
系统 2019-09-27 17:49:49 2171
简介字符串序列用于表示和存储文本，python中字符串是不可变的，一旦声明，不能改变通常由单引号(')，双引号(")，三引号('''""")包围其中三引号可以由多行组成，编写多行文本的快捷语法，常用语文档字符串，在文件的特定地点，被当做注释。便捷的多行注释Python实际三类字符串：1.通常意义字符串(str)2.原始字符串，以大写R或小写r开始，r''，不对特殊字符进行转义3.Unicode字符串，u''basestring子类在Python中，字符串是
系统 2019-09-27 17:48:00 2171
我们在写代码的过程中，会经常使用到for循环，去循环列表，那么如果我们拿到一个类型为str的列表，对它进行for循环，结果看下面的代码和图：str_list=str(['a','b','c'])forrowinstr_list:print(row)结果：Python字符串类型列表转换成真正列表类型那么for循环就把str类型的列表的每一个字符都一个一个的循环的打印出来，而这个结果并不是我们想要的，那么如何解决这个问题？，使用到第三方模块，看下面的代码fro
系统 2019-09-27 17:47:49 2171
一.安装依赖库yum-yinstallpython-developensslopenssl-develgccsqlitesqlite-develmysql-devellibxml2-devellibxslt-develtkintertk-devel#下载Pythonmkdir/tmp/pythoncd/tmp/pythonwgethttps://www.python.org/ftp/python/2.7.13/Python-2.7.13.tgz二.解压Py
系统 2019-09-27 17:46:40 2171
声明本文基于Python2.7语言，给出判断列表是否已排序的多种方法，并在作者的WindowsXP主机(PentiumG6302.7GHz主频2GB内存)上对比和分析其性能表现。一.问题提出Haskell培训老师提出一个问题：如何判断列表是否已经排序？排序与否实际只是相邻元素间的某种二元关系，即a->a->Bool。所以第一步可以把二元组列表找出来；第二步是把这个函数作用于每个元组，然后用and操作。老师给出的实现代码如下：pairlst=ziplst(t
系统 2019-09-27 17:46:24 2171
前段时间自学了python，作为新手就想着自己写个东西能练习一下，了解到python编写爬虫脚本非常方便，且最近又学习了MongoDB相关的知识，万事具备只欠东风。程序的需求是这样的，爬虫爬的页面是京东的电子书网站页面，每天会更新一些免费的电子书，爬虫会把每天更新的免费的书名以第一时间通过邮件发给我，通知我去下载。一、编写思路：1.爬虫脚本获取当日免费书籍信息2.把获取到的书籍信息与数据库中的已有信息作比较，如果书籍存在不做任何操作，书籍不存在，执行插入数
系统 2019-09-27 17:38:35 2171
浅谈python中set使用In[2]:a=set()#常用操作1In[3]:aOut[3]:set()In[4]:type(a)Out[4]:setIn[5]:b=set([1,3])In[6]:bOut[6]:{1,3}In[7]:type(b)Out[7]:setIn[8]:b.update(2)---------------------------------------------------------------------------Typ
系统 2019-09-27 17:38:07 2171
