前言上项目的时候,遇见一次需求,需要把在线的其中一个collection里面的数据迁移到另外一个collection下,于是就百度了看到好多文章,其中大部分都是使用导入的方法,没有找到在线数据的迁移方法。于是写了python脚本,分享出来。思路:collection数据量比较大,所以一次性操作所有数据太大,于是分段执行操作。先分段按1000条数据量进行查询,处理成json数据把处理后的json数据发送到目的collection上即可实现:一、使用http的
系统 2019-09-27 17:52:33 2131
给密码加密是什么:用户注册的密码一般网站管理人员会利用md5方法加密,这种加密方法的好处是它是单向加密的,也就是说,你只有在提前知道某一串密码对应的md5加密码,才能反推出密码是多少,虽然有极小的几率可能造成两个密码加密之后的值相等(这种现象称为碰撞),不过基本上不用担心,因为概率是极低的。在常用的hashlib模块里还有sha1()等方法,它的本质和md5是一致的,只是产生的结果是160bit字节,通常用一个40位的16进制字符串表示。而md5是最常见的
系统 2019-09-27 17:52:27 2131
简介前边几篇介绍了Monkey以及Monkey的事件,今天就给小伙伴们介绍和分享一下Monkey的参数。首先我们看一下这幅图来大致了解一下:1、Monkey命令基本参数介绍-p<允许的包名列表>用此参数指定一个或多个包。指定包之后,monkey将只允许系统启动指定的app。如果丌指定包,monkey将允许系统启动设备中的所有app。指定一个包:adbshellmonkey-pcom.shjt.map100指定多个包:adbshellmonkey-pfish
系统 2019-09-27 17:52:06 2131
python安装教程,分享给大家。一、安装python1、首先进入网站下载:点击打开链接(或自己输入网址),进入之后如下图,选择图中红色圈中区域进行下载。2、下载完成后如下图所示3、双击exe文件进行安装,如下图,并按照圈中区域进行设置,切记要勾选打钩的框,然后再点击Customizeinstallation进入到下一步:4、对于上图中,可以通过Browse进行自定义安装路径,也可以直接点击Install进行安装,点击install后便可以完成安装了。5、
系统 2019-09-27 17:51:44 2131
今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中,也会好奇自己养的爬虫一分钟可以爬多少页面,多大的数据量,当然查询的方式多种多样。今天我来讲一种可视化的方法。关于爬虫数据在mongodb里的版本我写了一个可以热更新配置的版本,即添加了新的爬虫配置以后,不用重启程序,即可获取刚刚添加的爬虫的状态数据。1.成品图这个是监控服务器网速的最后成果,显示的是下载与上传的网速,单位为M。爬虫的原理都是一样的,只不过将数据存到InfluxDB的
系统 2019-09-27 17:50:52 2131
UnicodeDecodeError:'gbk'codeccan'tdecodebyte0x80inposition128:illegalmultibytesequence说到底是open()使用方法。原本程序是这样的:(重点看第4行)fromtkinterimport*importosdefopenFile():f=open('D:\Pythoncharmprojccts\SC\main_window.py',mode='r')whileTrue:dat
系统 2019-09-27 17:50:35 2131
前言Python字典update()方法用于更新字典中的键/值对,可以修改存在的键对应的值,也可以添加新的键/值对到字典中。语法格式d.update(e)参数说明将e中键-值对添加到字典d中,e可能是字典,也可能是键-值对序列。详见实例。返回值该方法没有任何返回值。实例以下实例展示了update()方法的使用方法:d={‘one':1,'two':2}d.update({‘three':3,'four':4})#传一个字典print(d)d.update(
系统 2019-09-27 17:50:31 2131
字符串在Python中创建字符串对象非常容易。只要将所需的文本放入一对引号中,就完成了一个新字符串的创建(参见清单1)。如果稍加思考的话,您可能会感到有些困惑。毕竟,有两类可以使用的引号:单引号(')和双引号(")。幸运的是,Python再一次使这种问题迎刃而解。您可以使用任意一类引号来表示Python中的字符串,只要引号一致就行。如果字符串是以单引号开始,那么必须以单引号结束,反之亦然。如果不遵循这一规则,则会出现SyntaxError异常。清单1.在P
系统 2019-09-27 17:49:48 2131
s与==区别:is用于判断两个变量引用对象是否为同一个,==用于判断引用变量的值是否相等。aisb相当于id(a)==id(b),id()能够获取对象的内存地址。如果a=10;b=a;则此时a和b的内存地址一样的;但当a=[1,2,3];另b=a[:]时,虽然a和b的值一样,但内存地址不一样。如果此时定义a=10、b=10,然后再对比aisb会发现返回的结果是True,这是因为在Python中会实现创建一个小型的整形池,范围为[-5,256],为这些整形开
系统 2019-09-27 17:49:44 2131
#登录认证#加密-->解密#摘要算法#两个字符串:#importhashlib#提供摘要算法的模块md5=hashlib.md5()md5.update(b'123456')print(md5.hexdigest())#aee949757a2e698417463d47acac93df#不管算法多么不同,摘要的功能始终不变#对于相同的字符串使用同一个算法进行摘要,得到的值总是不变的#使用不同算法对相同的字符串进行摘要,得到的值应该不同#不管使用什么算法,ha
系统 2019-09-27 17:49:08 2131