今天接到一个新的任务,要对一个140多M的csv文件进行数据处理,总共有170多万行,尝试了导入本地的MySQL数据库进行查询,结果用Navicat导入直接卡死....估计是XAMPP套装里面全默认配置的MySQL性能不给力,又尝试用R搞一下吧结果发现光加载csv文件就要3分钟左右的时间,相当不给力啊,翻了翻万能的知乎发现了Python下的一个神器包:Pandas(熊猫们?),加载这个140多M的csv文件两秒钟就搞定,后面的分类汇总等操作也都是秒开,太牛
系统 2019-09-27 17:52:33 1852
本文实例讲述了Python进程间通信Queue消息队列用法。分享给大家供大家参考，具体如下：进程间通信-QueueProcess之间有时需要通信，操作系统提供了很多机制来实现进程间的通信。1.Queue的使用可以使用multiprocessing模块的Queue实现多进程之间的数据传递，Queue本身是一个消息列队程序，首先用一个小实例来演示下Queue的工作原理：代码如下：#coding=utf-8frommultiprocessingimportQue
系统 2019-09-27 17:52:28 1852
#-*-coding:utf-8-*-importdatetime#给定日期向后N天的日期defdateadd_day(days):d1=datetime.datetime.now()d3=d1+datetime.timedelta(days)returnd3#昨天defgetYesterday():today=datetime.date.today()oneday=datetime.timedelta(days=1)yesterday=today-one
系统 2019-09-27 17:52:22 1852
1.常用模块#连接数据库connect()函数创建一个新的数据库连接对话并返回一个新的连接实例对象PG_CONF_123={'user':'emma','port':123,'host':'192.168.1.123','password':'emma','database':'dbname'}conn=psycopg2.connect(**PG_CONF_123)#打开一个操作整个数据库的光标连接对象可以创建光标用来执行SQL语句cur=conn.cur
系统 2019-09-27 17:52:21 1852
经典的汉诺塔问题：这里我们可以利用递归的思想去做，递归中重要的三步，我们逐条来实现：1、函数+分支结构2、递归链条3、递归基例函数+分支结构：defhanoi(n,start,end,mid):globalcountif:else:这里我们可以定义一个函数，里面的参数有：一共有n个圆盘，从start柱子移到end柱子，中间柱子为mid。这里定义一个全局变量来计算移动的步骤数，若为局部变量，会在函数内部不断初始化，所以需要定义全局变量。递归基例：ifn==1
系统 2019-09-27 17:52:07 1852
这篇文章主要介绍了python爬虫批量下载zabbix文档代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下#-*-coding:UTF-8-*-importrequests,re,timeurl='https://www.zabbix.com/documentation/3.4/zh/manual'base_url='https://www.zabbix.com/documentation/3.4/
系统 2019-09-27 17:52:06 1852
最近在工作中遇到一个问题，就是有一个功能希望在各种服务器上实现，而服务器上的系统版本可能都不一样，有的是CentOS6.x，有的是CentOS7.x。需要说明的一点是，CentOS6.x上的Python版本是2.6.x的，而CentOS7.x上的Python版本是2.7.x的，这意味着我要实现的功能要适配这两种版本的系统。你可能会说，这有什么的，自己写的时候，注意一下就好了。事情其实没有那么容易，我要实现的功能是基于一个框架进行定制，需要修改不少的框架代码
系统 2019-09-27 17:51:50 1852
如下所示：#!/usr/bin/envpython#-*-coding:utf-8-*importserialimportserial.tools.list_portsport_list=list(serial.tools.list_ports.comports())iflen(port_list)<=0:print"TheSerialportcan'tfind!"else:port_list_0=list(port_list[0])port_serial
系统 2019-09-27 17:50:57 1852
队、栈和链表一样，在数据结构中非常基础一种数据结构，同样他们也有各种各样、五花八门的变形和实现方式。但不管他们形式上怎么变，队和栈都有其不变的最基本的特征，我们今天就从最基本，最简单的实现来看看队列和堆栈。不管什么形式的队列，它总有的一个共同的特点就是“先进先出”。怎么理解呢?就像是超市排队结账，先排队的人排在队的前面，先结账出队。这是队列的特征。而堆栈则和队列相反，它是“先进后出”，怎么理解呢?基本所有的编辑器都有一个撤销功能，就是按Ctrl+Z。当你写
系统 2019-09-27 17:50:25 1852
python&djangologging小结[TOC]python基本一次配置,多处生效importlogginglogging.basicConfig(format='%(asctime)s%(message)s',datefmt='%m/%d/%Y%I:%M:%S%p')logging.warning('iswhenthiseventwaslogged.')>>>12/12/201011:46:36AMiswhenthiseventwaslogged.
系统 2019-09-27 17:50:19 1852
