一般来说，用pandas处理小于100兆的数据，性能不是问题。当用pandas来处理100兆至几个G的数据时，将会比较耗时，同时会导致程序因内存不足而运行失败。当然，像Spark这类的工具能够胜任处理100G至几个T的大数据集，但要想充分发挥这些工具的优势，通常需要比较贵的硬件设备。而且，这些工具不像pandas那样具有丰富的进行高质量数据清洗、探索和分析的特性。对于中等规模的数据，我们的愿望是尽量让pandas继续发挥其优势，而不是换用其他工具。本文我们
系统 2019-09-27 17:49:29 2068
本书特色在数据规模急速膨胀的大数据时代，数据挖掘这项甄别重要数据的核心技术正发挥越来越重要的作用。它将赋予你解决实际问题的“超能力”：预测体育赛事结果、精确投放广告、根据作品的风格解决作者归属问题，等等。本书使用简单易学且拥有丰富第三方库和良好社区氛围的Python语言，由浅入深，以真实数据作为研究对象，真刀实枪地向读者介绍Python数据挖掘的实现方法。通过本书，读者将迈入数据挖掘的殿堂，透彻理解数据挖掘基础知识，掌握解决数据挖掘实际问题的最佳实践！理解
系统 2019-09-27 17:49:13 2068
python基础学习笔记（十一）2013-05-1423:31虫师阅读(...)评论(...)编辑收藏迭代器本节进行迭代器的讨论。只讨论一个特殊方法----__iter__，这个方法是迭代器规则的基础。迭代器规则迭代的意思是重复做一些事很多次---就像在循环中做的那样。__iter__方法返回一个迭代器，所谓迭代器就是具有next方法的对象，在调用next方法时，迭代器会返回它的下一个值。如果next方法被调用，但迭代器没有值可以返回，就会引发一个Stop
系统 2019-09-27 17:48:51 2068
前几天，我估摸着做一个能生成QRCode小程序，并能用wxPython在屏幕上显示出来。当然，我想用纯Python实现，观望了一会后，我找到了三个候选：github上的python-qrcodesourceforge上的pyqrcodeGoolgecode上的pyqrnative我尝试了python-qrcode以及pyqrnative，因为它们能够运行在Windows/Mac/Linux。也不需要依赖额外的其他库除了Python图像库。pyqrcode项
系统 2019-09-27 17:47:37 2068
split()方法返回的字符串中的所有单词的列表，使用str作为分隔符(如果在未指定的所有空格分割)，可选择限当前分割为数量num。语法以下是split()方法的语法：str.split(str="",num=string.count(str)).参数str--这是任何分隔符，默认情况下是空格。num--这是要分割的行数。返回值此方法返回行列表。例子下面的示例演示了split()方法的使用。#!/usr/bin/pythonstr="Line1-abcde
系统 2019-09-27 17:47:08 2068
多态多态指的是一类事物有多种形态importabcclassAnimal(metaclass=abc.ABCMeta):#同一类事物:动物@abc.abstractmethoddeftalk(self):passclassPeople(Animal):#动物的形态之一:人deftalk(self):print('sayhello')classDog(Animal):#动物的形态之二:狗deftalk(self):print('saywangwang')cl
系统 2019-09-27 17:46:13 2068
django的url采用正则表达式进行配置，虽然强大却也广为诟病。反对者们认为django的url配置过于繁琐，且不支持默认的路由功能。我倒觉得还好，只是如果觉得不爽，为什么不自己小小的hack一下，反正也就几行代码的事。在这个背景下，我整了这个url_helper，利用url_helper可以简化配置和实现url的默认路由。所谓的url_helper其实就只有url_helper.py一个文件，使用的时候只想要import就可以。url_helper的具
系统 2019-09-27 17:46:08 2068
一、什么是递归如果函数包含了对其自身的调用，该函数就是递归的。递归做为一种算法在程序设计语言中广泛应用，它通常把一个大型复杂的问题层层转化为一个与原问题相似的规模较小的问题来求解，递归策略只需少量的程序就可描述出解题过程所需要的多次重复计算，大大地减少了程序的代码量。例如，要计算1-9的9位数字的乘积，直观的算法是1*2*3*4*5*6*7*8*9，如果要计算1-10000的乘积，直观的算法就难于实现出，而递归就可以很简单的实现。请看示例：deffact(
系统 2019-09-27 17:38:31 2068
Python递归函数实例1、打开Python开发工具IDLE,新建‘递归.py'文件，并写代码如下：defdigui(n):ifn==0:print('')returnprint('*'*n)digui(n-1)if__name__=='__main__':digui(5)这里递归打印*号，先打印后递归2、F5运行程序，打印内容如下；***************3、更改一下打印和递归的顺序，先递归后打印，代码如下：defdigui(n):ifn==0:p
系统 2019-09-27 17:38:16 2068
背景最近公司在做消息推送，那么自然就会产生很多接口，测试的过程中需要调用接口，我就突然觉得是不是可以自己写一个测试框架？说干就干，由于现有的接口测试工具Jmeter、SoupUI等学习周期有点长，干脆自己写一个吧，不求人，所有功能自己都能一清二楚。当然，写工具造轮子只是学习的一种方式，现成成熟的工具肯定比我们自己的写的好用。开发环境-------------------------------------------------------------操作
系统 2019-09-27 17:37:53 2068
