前言上项目的时候,遇见一次需求,需要把在线的其中一个collection里面的数据迁移到另外一个collection下,于是就百度了看到好多文章,其中大部分都是使用导入的方法,没有找到在线数据的迁移方法。于是写了python脚本,分享出来。思路:collection数据量比较大,所以一次性操作所有数据太大,于是分段执行操作。先分段按1000条数据量进行查询,处理成json数据把处理后的json数据发送到目的collection上即可实现:一、使用http的
系统 2019-09-27 17:52:33 2271
文章目录1.描述2.语法3.参数4.返回值5.实例演战5.1.求解$\ln2$5.2.求解$\log_210$1.描述log()返回x的自然对数。2.语法以下是log()方法的语法:importmathmath.log(x[,base])注意:log()是不能直接访问的,需要导入math模块,通过静态对象调用该方法。3.参数x–数值表达式。base–可选,底数,默认为e。4.返回值返回x的自然对数,x>0。5.实例演战5.1.求解ln2\ln2ln2im
系统 2019-09-27 17:52:07 2271
原文链接:https://jinshuju.net/f/kb1Bcq♚豌豆花下猫,某985高校毕业生,兼具极客思维与人文情怀。专注python技术、数据科学和深度学习,力图创造一个有趣又有用的学习分享平台。Python中的sys模块极为基础而重要,它主要提供了一些给解释器使用(或由它维护)的变量,以及一些与解释器强交互的函数。本文将会频繁地使用该模块的getsizeof()方法,因此,我先简要介绍一下:该方法用于获取一个对象的字节大小(bytes)它只计算
系统 2019-09-27 17:51:49 2271
官方文档:https://elasticsearch-py.readthedocs.io/en/master/1、介绍python提供了操作ElasticSearch接口,因此要用python来操作ElasticSearch,首先要安装python的ElasticSearch包,用命令pipinstallelasticsearch安装或下载安装:https://pypi.python.org/pypi/elasticsearch/5.4.02、创建索引假如
系统 2019-09-27 17:51:01 2271
实际上JSON就是Python字典的字符串表示,但是字典作为一个复杂对象是无法直接传递,所以需要将其转换成字符串形式.转换的过程也是一种序列化过程.用json.dumps序列化为json字符串格式复制代码代码如下:>>>importjson>>>dic{'Connection':['keep-alive'],'Host':['127.0.0.1:5000'],'Cache-Control':['max-age=0']}>>>jdict=json.dumps
系统 2019-09-27 17:50:19 2271
在使用对比过一些python虚拟环境管理工具后,个人觉得还是使用conda管理最方便(conda不仅仅能用来管理python环境,还有许多其它功能,更多介绍可参考其官网)。conda官网:https://docs.conda.io/en/latest/index.html从个人使用而言,吸引我的主要原因主要是以下两点:方便、统一的环境管理命令(在任意目录,都可以直接使用conda创建、切换、退出、删除虚拟环境等,无需切换到项目所在路径)创建虚拟环境时不仅可
系统 2019-09-27 17:50:16 2271
1.创建表创建表:createtablet1(idint,namechar(4));createtablet2(idint,namechar(4))engine=myisam;#使用MyISAM存储引擎createtablet3(idint,namechar(4))engine=memory;#使用MEMORY存储引擎查看表的结构:showcreatetable表名;—能够看到和这张表相关的所有信息desc表名;—只能查看表的字段的基础信息desc表名;=
系统 2019-09-27 17:49:28 2271
“表情包”是现在非常流行的交流方式,通过一张图片就能把文字不能表达或不便于表达的情感给表示出来,表情包一经诞生,就统治了中国人的社交圈,尤其是年轻人,他们的社交方式是所谓“天可不聊,图不可不斗”,几乎任何对话都会出现表情包的身影,一言不合就斗图,自己也会在聊天中发几个表情包,可是总会造成一些小误会,比如下面的图有好多朋友看到这个表情包之后误以为这也是我用Python做的,其实不然,这个图就是网上普通的表情包,但是今天我要用Python做几个表情包。今天制作
系统 2019-09-27 17:49:06 2271
前言其实有一个模块也支持执行系统命令,那个模块就是sys.system,但他执行系统命令会直接通过主进程去执行命令,那假如,该命令的执行需要耗费一个小时,那么主进程会卡一个小时,而不会去干别的事,这样就会导致程序的运行效率低下。如果由subprocess去执行系统命令的时候并不会让主进程去执行,而是主进程会开辟出一个子进程去执行,并不会影响到主进程的运行,主进程该干嘛就干嘛,那么又有个问题,大家都知道进程之间的内存空间是独立的,也就是说进程之间是不能相互访
系统 2019-09-27 17:47:47 2271
众所周知python的拿手好戏就是爬虫抓取数据,性能优秀,抓取时间快,消耗低,这是python的优势。学会了爬虫后那我们就可以抓取竞争对手的数据,可以对数据进行分析,或者拿来使用(作者不赞成这样做哦)。最重要是对数据进行分析,这样对我们的运营自己的产品,提高用户的新增或留存都是很有帮助的,正所谓现在是大数据年代,没有数据我们也能利用别人的数据。那要怎样才能更好去学习python爬虫呢?今天推荐一本最新使用python3的书籍,值得阅读。《Python3网络
系统 2019-09-27 17:47:38 2271