在数据分析领域，最热门的莫过于Python和R语言，此前有一篇文章《别老扯什么Hadoop了，你的数据根本不够大》指出：只有在超过5TB数据量的规模下，Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据，千万级数据已经是关系型数据库的查询分析瓶颈，之前使用过Hadoop对大量文本进行分类，这次决定采用Python来处理数据：硬件环境CPU：3.5GHzIntelCorei7内存：32GBHDDR31600MHz硬盘：3TBFusionDrive数据
系统 2019-09-27 17:50:47 2062
综述多线程是程序设计中的一个重要方面，尤其是在服务器Deamon程序方面。无论何种系统，线程调度的开销都比传统的进程要快得多。Python可以方便地支持多线程。可以快速创建线程、互斥锁、信号量等等元素，支持线程读写同步互斥。美中不足的是，Python的运行在Python虚拟机上，创建的多线程可能是虚拟的线程，需要由Python虚拟机来轮询调度，这大大降低了Python多线程的可用性。希望高版本的Python可以解决这个问题，发挥多CPU的最大效率。网上有些
系统 2019-09-27 17:50:36 2062
createtime:2019年7月17日我在网上找了好多，现在基本实现了传输视频的功能，其思路是：首先得先了解如何使用openCV采集摄像头数据，其次得了解pythonsocket网络编程。因为socket不能直接传输openCV采集的数据，所以还需要转码操作。在下个版本，我用的类的方式实现了视频传输，这个版本先用平常方法实现的，也是一个客户端，一个服务端。服务端#!/usr/bin/python#-*-coding:utf-8-*-importsock
系统 2019-09-27 17:50:02 2062
python基础学习笔记（五）2013-04-2014:05虫师阅读(...)评论(...)编辑收藏字符串基本操作所有标准的序列操作（索引、分片、乘法、判断成员资格、求长度、取最小值和最大值）对字符串同样适用，前面已经讲述的这些操作。但是，请注意字符串都是不可变的。字符串的方法：字符串从string模块中“继承”了很多方法，这里只介绍一些特别有用的。1、findfind方法可以在一个较长的字符串中查找子字符串。它返回子串所在位置的最左端索引。如果没有找到则
系统 2019-09-27 17:48:54 2062
Shellshell获取文件最后修改时间的秒时间戳：stat-c%Y$path/$newest_logshell获取当前时间的秒时间戳：date+%s两个时间戳相减：timegap=$[$timestamp-$filetimestamp]将日期时间字符串转化为时间戳：date-d"2019-08-26"+%s将时间戳转化为日期时间字符串：date-d@1566748800获取n天前的日期时间：date-d"1dayago"+"%Y-%m-%d"获取n分钟前
系统 2019-09-27 17:48:12 2062
有一些任务，可能事先需要设置，事后做清理工作。对于这种场景，Python的with语句提供了一种非常方便的处理方式。一个很好的例子是文件处理，你需要获取一个文件句柄，从文件中读取数据，然后关闭文件句柄。如果不用with语句，代码如下：file=open("/tmp/foo.txt")data=file.read()file.close()这里有两个问题。一是可能忘记关闭文件句柄；二是文件读取数据发生异常，没有进行任何处理。下面是处理异常的加强版本：file
系统 2019-09-27 17:48:03 2062
经常有同学问我Python入门及进阶的学习书籍，所以今天给大家分享两本书。Python编程：从入门到实践Python从入门到实践，豆瓣评分9.1分，基于Python3.5也兼顾了2.7。书前半部分（11章）是对Python基础知识的讲解，而后半部分（9章）分别讲述了三个项目实践，从「外星人入侵」游戏，数据可视化，DjangoWEB开发进行实践。可以说是真的兼顾了「入门」和「实践」。难能可贵的是作者专门拿出一章来讲如何进行单元测试，单元测试我觉得是一个程序员
系统 2019-09-27 17:47:47 2062
isspace()方法检查字符串是否包含空格。语法以下是isspace()方法的语法：str.isspace()参数NA返回值如果有字符串中只有空白字符并且至少有一个字符此方法返回true，否则返回false。例子下面的例子显示了isspace()方法的使用。#!/usr/bin/pythonstr="";printstr.isspace();str="Thisisstringexample....wow!!!";printstr.isspace();当我
系统 2019-09-27 17:47:15 2062
defget_standard_str(s):lis=list(s)lis.sort()s="".join(lis)returnsstop_word=""dict1={}forlineiniter(input,stop_word):standard_str=get_standard_str(line)ifstandard_strindict1:dict1[standard_str].append(line)else:dict1[standard_str]=
系统 2019-09-27 17:46:11 2062
前面的python3入门系列基本上也对python入了门，从这章起就开始介绍下python的爬虫教程，拿出来给大家分享；爬虫说的简单，就是去抓取网路的数据进行分析处理；这章主要入门，了解几个爬虫的小测试，以及对爬虫用到的工具介绍，比如集合，队列，正则表达式；用python抓取指定页面：代码如下：importurllib.requesturl="http://www.baidu.com"data=urllib.request.urlopen(url).rea
系统 2019-09-27 17:45:49 2062
