jsonJSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式，易于人阅读和编写。json是我们在制作爬虫时非常常见的网络对象，本文就列举python对于json的基本操作。json函数使用json函数首先要导入json库即importjson主要使用以下两个函数：json.dumps将Python对象编码成JSON字符串json.loads将已编码的JSON字符串解码为Python对象json.dumpsjson.dump
系统 2019-09-27 17:54:25 2245
实测系统：ubuntu16.4debain9.01.Ubuntu16.04系统自带Python2.7和Python3.5，而默认采用的是2.7版本，可采用如下命令查看单当前版本号:python-V2.Python2.7和3.5都是默认安装在/usr/local/lib/python2.7(3.5)目录下，link文件在/usr/bin文件夹下，需要删除默认pythonlink文件pythonsudorm/usr/bin/python重新建立链接，并指向Py
系统 2019-09-27 17:53:40 2245
1.http://mirrors.zte.com.cn/pypi/simple/下载python版本的whl安装包，不是win版2.pipinstall*安装pipinstallgrpcio-1.20.1-cp37-cp37m-manylinux1_x86_64.whlpipinstallasvprotobuf-0.3.17a0-py3-none-any.whl
系统 2019-09-27 17:53:13 2245
random模块中的常用函数复制代码代码如下:random()返回一个位于区间[0,1]内的实数；uniform(a,b)返回一个位于区间[a,b]内的实数；randint(a,b)返回一个位于区间[a,b]内的整数；choice(sequence)返回一个位于sequence中的元素，其中，sequence为一个有序序列，如list、string或者tuple等类型；randrange([start],stop[,step])等效于choice(rang
系统 2019-09-27 17:52:43 2245
窗外下着小雨，作为单身程序员的我逛着逛着发现一篇好东西，来自知乎你都用Python来做什么？的第一个高亮答案。到上面去看了看，地址都是明文的，得，赶紧开始吧。下载流式文件，requests库中请求的stream设为True就可以啦，文档在此。先找一个视频地址试验一下：#-*-coding:utf-8-*-importrequestsdefdownload_file(url,path):withrequests.get(url,stream=True)asr
系统 2019-09-27 17:52:41 2245
对于部署在百度应用引擎BAE上的项目，使用百度云存储BCS（BaiduCloudStorage）是不错的存储方案。百度云存储已有PythonSDK，对它进行简单封装后，就可以直接在Flask中使用了，项目代码见GitHub上Flask-BCS。使用示例代码：复制代码代码如下:fromflaskimportFlaskfromflask_bcsimportBCSBCS_HOST='BCSHOST'BCS_ACCESS_KEY='BCSAccessKey'BCS
系统 2019-09-27 17:52:25 2245
如下所示：importlogging#创建一个loggerlogger=logging.getLogger('mylogger')logger.setLevel(logging.DEBUG)#创建一个handler，用于写入日志文件fh=logging.FileHandler('test.log')fh.setLevel(logging.DEBUG)#再创建一个handler，用于输出到控制台ch=logging.StreamHandler()ch.set
系统 2019-09-27 17:51:25 2245
Python之父再发文：构建一个PEG解析器image花下猫语：Python之父在Medium上开了博客，现在写了两篇文章，本文是第二篇的译文。前一篇的译文在此，宣布了将要用PEG解析器来替换当前的pgen解析器。本文主要介绍了构建一个PEG解析器的大体思路，并介绍了一些基本的语法规则。根据Python之父的描述，这个PEG解析器还是一个很笼统的实验品，而他也预告了，将会在以后的系列文章中丰富这个解析器。阅读这篇文章就像在读一篇教程，虽然很难看懂，但是感觉
系统 2019-09-27 17:51:22 2245
今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为M。爬虫的原理都是一样的，只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 2245
今天遇到一个需求，就是将一个list文件读取后，存入一个txt配置文件。存入时，发现list文件无法直接存入，必须转为str模式。但在读取txt时，就无法恢复成list类型来读取了（准确地说，即使强行使用list读取，读出来的也是单个的字符）。查了查资料，发现json.loads和json.dumps这对兄弟提供了一个很好的办法。下面看代码#python3.6#!/usr/bin/envpython#-*-coding:utf-8-*-__author__
系统 2019-09-27 17:50:48 2245
