表数据超过百万级别时使用pandas读取数据速度过慢，如果仍然想用pandas读取，可以通过多进程提高效率。同时可以将常用数据保存为pkl文件，以便后续使用。@主要代码实现#按照表中的某字段将表划分为比较均匀的多个子集#本例中需要读取的表中包含了城市字段，#且涉及的城市包含了全国大部分城市，数据分布较为均匀，因此制作了一张省份城市配置表，将数据划分#读取省份-城市配置表，获取城市列表defget_division_list(db_connect,divis
系统 2019-09-27 17:53:46 2198
使用open函数，第一个参数为文件名，例如“C:\abc.txt”,这里要注意的是r“C:\abc.txt”。第二个参数为文件的操作方式，这里着重探讨写入，写入主要分为覆盖写入和追加写入。#覆盖写入例子：file=open(r'C:\abc.txt','w')file.write("abc")#写入字符串file.close#关闭文件#追加写入例子：file=open(r'C:\abc.txt','a')file.write("abc")#写入字符串fil
系统 2019-09-27 17:53:29 2198
#-*-coding:utf-8-*-importdatetime#给定日期向后N天的日期defdateadd_day(days):d1=datetime.datetime.now()d3=d1+datetime.timedelta(days)returnd3#昨天defgetYesterday():today=datetime.date.today()oneday=datetime.timedelta(days=1)yesterday=today-one
系统 2019-09-27 17:52:22 2198
MongoDB是目前最流行的NoSQL数据库之一，使用的数据类型BSON（类似JSON）。1.安装Mongodb和pymongoMongodb的安装和配置Mongodb的安装教程请网上搜索,安装完成后,进行以下配置过程:1.1创建目录,该目录为Mongodb数据文件的存放目录:*注:本人使用的不是root用户,所以修改目录的拥有者.*sudomkdir/datasudochown-Rpython:python/datamkdir/data/db1.2分别执
系统 2019-09-27 17:52:16 2198
Python实现Mysql数据统计的实例代码如下所示：importpymysqlimportxlwtexcel=xlwt.Workbook(encoding='utf-8')sheet=excel.add_sheet('Mysql数据库')sheet.write(0,0,'库名')sheet.write(0,1,'表名')sheet.write(0,2,'数据条数')db=pymysql.connect('192.168.1.74','root','123
系统 2019-09-27 17:51:52 2198
首先，熟悉一个函数zip，如下是使用help(zip)对zip的解释。Helponbuilt-infunctionzipinmodule__builtin__:zip(...)zip(seq1[,seq2[...]])->[(seq1[0],seq2[0]...),(...)]Returnalistoftuples,whereeachtuplecontainsthei-thelementfromeachoftheargumentsequences.Ther
系统 2019-09-27 17:51:25 2198
klearnpythonAPILinearRegressionfromsklearn.linear_modelimportLinearRegression#线性回归#module=LinearRegression()module.fit(x,y)module.score(x,y)module.predict(test)LogisticRegressionfromsklearn.linear_modelimportLogisticRegression#逻辑回
系统 2019-09-27 17:51:04 2198
Python中定义函数有两种方法，一种是用常规方式def定义，函数要指定名字，第二种是用lambda定义，不需要指定名字，称为Lambda函数。Lambda函数又称匿名函数，匿名函数就是没有名字的函数，函数没有名字也行？当然可以啦。有些函数如果只是临时一用，而且它的业务逻辑也很简单时，就没必要非给它取个名字不可。好比电影里面的群众演员，往往他们的戏份很少，最多是衬托主演，跑跑龙套，他们需要名字吗？不需要，因为他们仅仅只是临时出镜，下次可能就用不着了，所以犯
系统 2019-09-27 17:50:41 2198
目录：0引言1环境2代码实现3后记0引言前段时间，微信朋友圈开始出现了一种晒照片新形式，微信好友墙，即在一张大图片中展示出自己的所有微信好友的头像。效果如下图，出于隐私考虑，这里作了模糊处理。是不是很炫，而且这还是独一无二的，毕竟每个人的微信好友是不一样的。本文就教大家用Python来实现这种效果。1环境操作系统：WindowsPython版本：3.7.32代码实现我们需要首先需要获取好友的头像信息，接下来处理图像并完成图像的拼接。2.0准备工作在这里，我
系统 2019-09-27 17:50:39 2198
平时做数据处理基本离不了日志记录功能。每次都配置一堆挺烦人，索性封装个模块，这里记录一下，与大家共享。说明本日志模块目前只有一个方法getLogger，其他配置项通过参数传递，包括日志文件名，等级，日志文件划分方式，日志清除配置，日志格式等。logger.pyimportloggingfromloggingimporthandlers#日志级别字典__level_dict={'critical':logging.CRITICAL,'fatal':loggi
系统 2019-09-27 17:50:32 2198
