一般来说，用pandas处理小于100兆的数据，性能不是问题。当用pandas来处理100兆至几个G的数据时，将会比较耗时，同时会导致程序因内存不足而运行失败。当然，像Spark这类的工具能够胜任处理100G至几个T的大数据集，但要想充分发挥这些工具的优势，通常需要比较贵的硬件设备。而且，这些工具不像pandas那样具有丰富的进行高质量数据清洗、探索和分析的特性。对于中等规模的数据，我们的愿望是尽量让pandas继续发挥其优势，而不是换用其他工具。本文我们
系统 2019-09-27 17:49:29 1826
废话不多说，直接上代码吧！importthreadingimportosclassFind(threading.Thread):#搜索数据的线程类def__init__(self,datalist,startIndex,endIndex,searchstr,savefile):#datalist要搜索的内容列表，startIndex列表搜索范围的开始下标，searchstr要搜索的内容threading.Thread.__init__(self)self.
系统 2019-09-27 17:49:21 1826
词云是一种非常漂亮的可视化展示方式，正所谓一图胜过千言万语，词云在之前的项目中我也有过很多的使用，可能对于我来说，一种很好的自我介绍方式就是词云吧，就像下面这样的：个人觉还是会比枯燥的文字语言描述性的介绍会更吸引人一点吧。今天不是说要怎么用词云来做个人介绍，而是对工作中使用到比较多的词云计较做了一下总结，主要是包括三个方面：1、诸如上面的简单形式矩形词云2、基于背景图片数据来构建词云数据3、某些场景下不想使用类似上面的默认的字体颜色，这里可以自定义词云的字
系统 2019-09-27 17:48:59 1826
正则表达式简介正则表达式，又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法（英语：RegularExpression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。许多程序设计语言都支持利用正则表达式进行字符串操作。例如，在Perl中就内建了一个功能强大的正则表达式引擎。正则表
系统 2019-09-27 17:48:13 1826
一、为什么要安装虚拟环境情景一、项目A需要某个库的1.0版本，项目B需要这个库的2.0版本。如果没有安装虚拟环境，那么当你使用这两个项目时，你就需要来回的卸载安装了。情景二，项目A需要python2.7环境下运行，项目B需要在python3.6环境运行，如果使用虚拟环境可以分别为这两个项目配置不同的运行环境总的来说：virtualenv是一个创建隔绝的Python环境的工具，能为每一个python项目创建独立的，定制的环境二、安装步骤1、现在电脑上安装你需
系统 2019-09-27 17:47:45 1826
Python入门实践8——字符串（String）字符串（String）一、目标1、熟练使用print函数。2、了解常用的转义字符。3、掌握%、str.format()、f-string三种格式化输出字符串的方法。4、了解常用字符串操作函数。二、要点1、字符串用引号引起来的就是字符串，三种引号:单引号、双引号、三引号。2、Python访问字符串中的值1）、Python不支持单字符类型，单字符在Python中也是作为一个字符串使用。一个字符就是长度为1的字符串
系统 2019-09-27 17:47:44 1826
12.3APP12.31创建APP一个Django项目可以分为很多个APP，用来隔离不同功能模块的代码用命令行创建一个APP：python3manage.pystartappapp01创建好APP,记得告诉Django，app的名字，在settings.py中添加：INSTALLED_APPS=['django.contrib.admin','django.contrib.auth','django.contrib.contenttypes','djang
系统 2019-09-27 17:47:27 1826
find()方法判断字符串str，如果起始索引beg和结束end索引能找到在字符串或字符串的一个子串中。语法以下是find()方法的语法：str.find(str,beg=0end=len(string))参数str--此选项指定要搜索的字符串。beg--这是开始索引，默认情况下为0。end--这是结束索引，默认情况下它等于字符串的长度。返回值如果找到此方法返回的索引，否则返回-1。例子下面的例子显示了find()方法的使用。#!/usr/bin/pyth
系统 2019-09-27 17:47:19 1826
安装方法：注：python环境一定要配置好。1.第一步：下载官方网站：http://www.pyinstaller.org/downloads.html此处下载版本为稳定版。2.第二步：下载完成后解压，打开cmd。例如：我的在F盘根目录下。可更换目录，建议不要有目录不要带有中文。上图：关键安装命令。下图：安装过程图。注意命令的空格，下面夸张了下空格间距，每次空格也仅需按一次。(1)cdF：\pyinstaller-develop\bootlaoder(进入
系统 2019-09-27 17:47:11 1826
简介有时候需要确定一篇新闻文本的地名，比如上海市实施了垃圾分类...其地名，即归属地是上海，本工具就是实现这个功能的。给定一篇文章，可包含标题和正文（或仅标题，仅正文），确定其归属地（地名）。结果标准：区分国内国外，国外到国家名一级国内到省市一级安装使用python3$gitclonehttps://github.com/dongrixinyu/location_detect.git$cdlocation_detect$pipinstall.使用方法样例1
系统 2019-09-27 17:46:49 1826
