在数据分析领域，最热门的莫过于Python和R语言，此前有一篇文章《别老扯什么Hadoop了，你的数据根本不够大》指出：只有在超过5TB数据量的规模下，Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据，千万级数据已经是关系型数据库的查询分析瓶颈，之前使用过Hadoop对大量文本进行分类，这次决定采用Python来处理数据：硬件环境CPU：3.5GHzIntelCorei7内存：32GBHDDR31600MHz硬盘：3TBFusionDrive数据
系统 2019-09-27 17:57:15 2319
python基本运行机制。Python程序运行时不需要编译成二进制代码，而直接从源码运行程序，简单来说是，Python解释器将源码转换为字节码，然后再由解释器来执行这些字节码。解释器的具体工作：1完成模块的加载和链接；2将源代码编译为PyCodeObject对象(即字节码)，写入内存中，供CPU读取；3从内存中读取并执行，结束后将PyCodeObject写回硬盘当中，也就是复制到.pyc或.pyo文件中，以保存当前目录下所有脚本的字节码文件；*之后若再次执
系统 2019-09-27 17:57:05 2319
python常用导入函数及其他操作备忘录python常用导入函数解压缩zip并读取csv文件查看缺失值权重系数取绝对值后排序（查看特征权重重要度）python常用导入函数fromIPython.displayimportdisplayimportnumpyasnpimportpandasaspdfrompandasimportSeries,DataFramefromPILimportImageimportmatplotlib.pyplotasplt%mat
系统 2019-09-27 17:55:18 2319
学习器在测试集上的误差我们通常称作“泛化误差”。要想得到“泛化误差”首先得将数据集划分为训练集和测试集。那么怎么划分呢？常用的方法有两种，k折交叉验证法和自助法。介绍这两种方法的资料有很多。下面是k折交叉验证法的python实现。##一个简单的2折交叉验证fromsklearn.model_selectionimportKFoldimportnumpyasnpX=np.array([[1,2],[3,4],[1,3],[3,5]])Y=np.array([
系统 2019-09-27 17:54:40 2319
起因：有一天突然想看本小说，在小说网站上不能下载，广告太多，便。。。思路：–分析网站的结构–爬取目录（获得章节名和链接）–多线程加载章节网页–正则匹配内容–保存生成错误日志–链接单个章节txt合并为一个#-*-coding:utf-8-*-"""CreatedonTueJul218:23:492019@author:24709"""importurllibimporturllib.requestimportmultiprocessingfrombs4imp
系统 2019-09-27 17:53:50 2319
习题1：读入文件pmi_days.csv，完成以下操作：1.统计质量等级对应的天数，例如：优：5天良：3天中度污染：2天2.找出PMI2.5的最大值和最小值，分别指出是哪一天。1importpandasaspd2importnumpyasnp34days_path=open(r"C:\Users\Shinelon\Desktop\pmi_days.csv")5days_df=pd.read_csv(days_path)67#统计质量等级对应的天数8data
系统 2019-09-27 17:53:47 2319
目录一，轮询和长轮询二，分析web端微信三，爬虫套路一，轮询和长轮询短轮询的基本思路就是浏览器每隔一段时间向浏览器发送http请求，服务器端在收到请求后，不论是否有数据更新，都直接进行响应。这种方式实现的即时通信，本质上还是浏览器发送请求，服务器接受请求的一个过程，通过让客户端不断的进行请求，使得客户端能够模拟实时地收到服务器端的数据的变化。这种方式的优点是比较简单，易于理解，实现起来也没有什么技术难点。缺点是显而易见的，这种方式由于需要不断的建立http
系统 2019-09-27 17:53:45 2319
版本：Python：3.6.4与2.7.3均适配一、hbase表介绍表名：people列族：basic_info、other_inforowkey：随机的两位数+当前时间戳，并要确保该rowkey在表数据中唯一。列定义：name、age、sex、edu、tel、email、country。二、实现rowkey：随机的两位数：使用random.randint(00,99)，然后使用zfill(2)补位，比如数字“1”补位为”01”。生成当前时间的13位时间戳
系统 2019-09-27 17:53:18 2319
在这篇文章中，我们会介绍如何用Python来搭建一个简单的推荐系统。本文使用的数据集是MovieLens数据集，该数据集由明尼苏达大学的Grouplens研究小组整理。它包含1,10和2亿个评级。Movielens还有一个网站，我们可以注册，撰写评论并获得电影推荐。接下来我们就开始实战演练。在这篇文章中，我们会使用Movielens构建一个基于item的简易的推荐系统。在开始前，第一件事就是导入pandas和numPy。importpandasaspdim
系统 2019-09-27 17:49:14 2319
目录一、multiprocess模块二、multiprocess.process模块三、process模块介绍3.1方法介绍3.2属性介绍3.3在windows中使用process模块的注意事项四、使用process模块创建进程4.1在Python中启动的第一个子进程4.2join方法4.3查看主进程和子进程的进程号4.4多个进程同时运行4.5多个进程同时运行，再谈join方法(1)4.6多个进程同时运行，再谈join方法(2)4.7通过继承Process
系统 2019-09-27 17:49:09 2319
