表数据超过百万级别时使用pandas读取数据速度过慢，如果仍然想用pandas读取，可以通过多进程提高效率。同时可以将常用数据保存为pkl文件，以便后续使用。@主要代码实现#按照表中的某字段将表划分为比较均匀的多个子集#本例中需要读取的表中包含了城市字段，#且涉及的城市包含了全国大部分城市，数据分布较为均匀，因此制作了一张省份城市配置表，将数据划分#读取省份-城市配置表，获取城市列表defget_division_list(db_connect,divis
系统 2019-09-27 17:53:46 1998
案例：爬取使用搜狗根据指定词条搜索到的页面数据（例如爬取词条为‘周杰伦'的页面数据）importurllib.request#1.指定urlurl='https://www.sogou.com/web?query=周杰伦''''2.发起请求:使用urlopen函数对指定的url发起请求，该函数返回一个响应对象，urlopen代表打开url'''response=urllib.request.urlopen(url=url)#3.获取响应对象中的页面数据:r
系统 2019-09-27 17:53:11 1998
非阻塞IO（non-blockingIO）Linux下，可以通过设置socket使其变为non-blocking。当对一个non-blockingsocket执行读操作时，流程是这个样子：从图中可以看出，当用户进程发出read操作时，如果kernel中的数据还没有准备好，那么它并不会block用户进程，而是立刻返回一个error。从用户进程角度讲，它发起一个read操作后，并不需要等待，而是马上就得到了一个结果。用户进程判断结果是一个error时，它就知道
系统 2019-09-27 17:53:07 1998
作者：HelloGitHub-ProdesireHelloGitHub的《讲解开源项目》系列，项目地址：https://github.com/HelloGitHub-Team/Article前言在前面三篇介绍argparse的文章中，我们全面了解了argparse的能力，相信不少小伙伴们都已经摩拳擦掌，想要打造一个属于自己的命令行工具。本文将以我们日常工作中最常见的git命令为例，讲解如何使用argparse库来实现一个真正可用的命令行程序。本系列文章默认
系统 2019-09-27 17:52:36 1998
mkvirtualenv-ppython3环境名创建虚拟环境rmvirtualenv环境名删除环境进入虚拟环境workon环境名(workon+tab可以出来所有环境)查看环境下所有包pip3list查看环境下安装的包(不包括原生python包)pip3freeze依赖包文件生成pip3freeze>requirements.txt环境导入依赖包pip3install-rrequirements.txt普通安装pip3install包名这是linux下的指
系统 2019-09-27 17:52:34 1998
原文链接：https://www.runoob.com/w3cnote/python-func-decorators.html学习菜鸟教程上一个同学的笔记，写的很好理解。转来学习。原文链接：https://www.runoob.com/w3cnote/python-func-decorators.html开始之前先提醒一下：多个装饰器的调用顺序为：从下往上每个人都有的内裤主要功能是用来遮羞，但是到了冬天它没法为我们防风御寒，咋办？我们想到的一个办法就是把内
系统 2019-09-27 17:52:15 1998
原文链接：https://mp.csdn.net/postedit/98402744学习Python您是否会面临以下问题？“网上充斥着大量的学习资源、书籍、视频教程和博客，但是大部分都是讲解基础知识，不够深入；也有的比较晦涩，难以理解”。CSDNPython学习社群将帮助您过滤网上的垃圾教程资源的技能，同时，您可以在社群内与其他有经验的程序员交流获取帮助。CSDNPython社群专属福利---7月公开课表如下：课程一《Python小白重难点解析》7月24日
系统 2019-09-27 17:51:47 1998
Python爬虫，使用BeautifulSoup可以轻松解析页面结果，下面是使用该方法爬取boss页面的职位信息：包括职位名称、薪资、地点、公司名称、公司融资情况等信息。通过这个示例可以轻松看到BeautifulSoup的使用方法。1、爬取boss直聘的职位信息importrequestsfrombs4importBeautifulSoupfrommiddlewaresimportget_random_proxy,get_random_agentimpor
系统 2019-09-27 17:51:39 1998
打开excel文件读取数据data=xlrd.open_workbook("excelFile.xls")读取工作表table=data.sheets()[0]#通过索引顺序获取table=data.sheet_by_index(0)#通过索引顺序获取table=data.sheet_by_name(u'Sheet1')#通过名称获取获取整行和整列的值（数组）table.row_values(i)#获取整行值table.col_values(i)#获取整列
系统 2019-09-27 17:51:17 1998
尽管很多人想要学习编程，但“万事开头难”这个道理，还是会将不少人劝退。你在网上找到的大多数教程，都既定假设用户已经知道了如何执行基本操作，甚至直接跳到服务器管理等进阶内容。好消息是，在Windows102019五月更新（Version1903）中，微软为想要学习Python编程的用户，提供了一个更加便捷的部署选项。python.jpg（题图via：OnMSFT）据悉，Python是一种易于上手和阅读的编程语言，功能性毋庸置疑，但并非Windows自带。此前
系统 2019-09-27 17:51:08 1998
