前言上项目的时候，遇见一次需求，需要把在线的其中一个collection里面的数据迁移到另外一个collection下，于是就百度了看到好多文章，其中大部分都是使用导入的方法，没有找到在线数据的迁移方法。于是写了python脚本，分享出来。思路：collection数据量比较大，所以一次性操作所有数据太大，于是分段执行操作。先分段按1000条数据量进行查询，处理成json数据把处理后的json数据发送到目的collection上即可实现:一、使用http的
系统 2019-09-27 17:52:33 2230
示例标准线程多进程，生产者/消费者示例：Worker越多,问题越大复制代码代码如下:#-*-coding:utf8-*-importosimporttimeimportQueueimportthreadingfromPILimportImagedefcreate_thumbnail(filename,size=(128,128)):try:fp,fmt=filename.rsplit('.',1)im=Image.open(filename)im.thum
系统 2019-09-27 17:52:06 2230
只需10行Python代码，我们就能实现计算机视觉中目标检测。fromimageai.DetectionimportObjectDetectionimportosexecution_path=os.getcwd()detector=ObjectDetection()detector.setModelTypeAsRetinaNet()detector.setModelPath(os.path.join(execution_path,"resnet50_coc
系统 2019-09-27 17:51:29 2230
之前学习C语言的时候，语法之类的都不是很懂，但是已经知道3个情况---流程1.顺序编写（一步一步下去）执行按照上到下；2.判断编写。（就是如果符合什么条件，就做什么。。。。）3.循环编写。（符合特定条件，进行重复的事情）###到了python，我们上一个课，说了if，这里说循环；你不是要问顺序不说吗？自己脑补一下（不需要理会任何条件的，一个个代码执行下去，不是顺序？）for循环和while循环--------------------------------
系统 2019-09-27 17:51:03 2230
今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中，也会好奇自己养的爬虫一分钟可以爬多少页面，多大的数据量，当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本，即添加了新的爬虫配置以后，不用重启程序，即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果，显示的是下载与上传的网速，单位为M。爬虫的原理都是一样的，只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 2230
#/usr/bin/envpython#coding:utf-8#进程检测程序importosimportpsutilimportdatetime#获取用户输入的PID#获取pid对应的应用名p=psutil.Process(os.getpid())print('Processname:%s'%p.name())#获取进程bin路径print('Processbinpath:%s'%p.exe())#获取pid对应的路径print('Processpath
系统 2019-09-27 17:50:43 2230
效果左边原图，右面添加字体后保存的图。代码#-*-coding:utf-8-*-importPIL.ImageasImageimportPIL.ImageColorasImageColorimportPIL.ImageDrawasImageDrawimportPIL.ImageFontasImageFont"""author@:xunapython2.7"""#设置字体（LiberationSans-Regular.ttf这是我ubuntu16.04自带的
系统 2019-09-27 17:50:37 2230
事情是这样的，我写了一个tornado的服务，过程当中我用logging记录一些内容，由于一开始并没有仔细观察tornado自已的日志管理，所以我就一般用debug来记录普通日志，error记录有问题的日志，但是当服务跑起来以后才发现，tornado的访问日志的级别是info，也就是20，debug是10的，所以如果我定义了日志的级别是debug，那么默认情况下肯定也会输出到日志文件中的。但是我现在并不关心访问日志，而且由于我这个服务可能每时每刻都会有访问
系统 2019-09-27 17:50:30 2230
1.重点知识掌握使用命令行、文件、Jupyter的方式执行Python代码2.HelloWorld！自从C语言之父丹尼斯.M.里奇在《TheCProgrammingLanguage》中写下了第1个"HelloWorld!"程序后，人们在学习一门新语言时，首先打印“HelloWorld!”似乎成了某种约定俗称的仪式。我国是礼仪之邦，礼就是仪式，所以仪式感很重要。so，那么接下来，我们也来编写我们的“HelloWorld!”程序。3.解释器命令行中执行Pyth
系统 2019-09-27 17:50:19 2230
一、简介with是从Python2.5引入的一个新的语法，更准确的说，是一种上下文的管理协议，用于简化try…except…finally的处理流程。with通过__enter__方法初始化，然后在__exit__中做善后以及处理异常。对于一些需要预先设置，事后要清理的一些任务，with提供了一种非常方便的表达。with的基本语法如下，EXPR是一个任意表达式，VAR是一个单一的变量（可以是tuple），”asVAR”是可选的。复制代码代码如下:withE
系统 2019-09-27 17:48:25 2230
