在之前学习的RDD和DataFrame数据集主要处理的是离线数据，随着时代发展进步，我们会发现越来越多数据是在源源不断发回到数据中心，同时需要立刻响应给用户，这样的情况我们就会用到实时处理，常用的场景有实时显示某商场一小时人流密度、实时显示当天火车站人口总数等等。接下来从实时数据源说起，实时数据源主要有：FileSourceSocketSourceFlumeSourceKafkaSourceFileSource指的是文件作为数据来源，常用的有本地文件fil
系统 2019-09-27 17:52:32 2016
由于工作的需求，需要用python做一个类似网络爬虫的采集器。虽然Python的urllib模块提供更加方便简洁操作，但是涉及到一些底层的需求，如手动设定User-Agent,Referer等，所以选择了直接用socket进行设计。当然，这样的话，需要对HTTP协议比较熟悉，HTTP协议这里就不做讲解了。整个python的代码如下:#!/usr/binenvpythonimportsockethost="www.baidu.com"se=socket.so
系统 2019-09-27 17:52:30 2016
python中eval函数的用法十分的灵活，这里主要介绍一下它的原理和一些使用的场合。下面是从python的官方文档中的解释：Theargumentsareastringandoptionalglobalsandlocals.Ifprovided,globalsmustbeadictionary.Ifprovided,localscanbeanymappingobject.Theexpressionargumentisparsedandevaluateda
系统 2019-09-27 17:52:12 2016
Sklearn简介Scikit-learn(sklearn)是机器学习中常用的第三方模块，对常用的机器学习方法进行了封装，包括回归(Regression)、降维(DimensionalityReduction)、分类(Classfication)、聚类(Clustering)等方法。当我们面临机器学习问题时，便可根据下图来选择相应的方法。Sklearn具有以下特点：简单高效的数据挖掘和数据分析工具让每个人能够在复杂环境中重复使用建立NumPy、Scipy、
系统 2019-09-27 17:51:55 2016
打开excel文件读取数据data=xlrd.open_workbook("excelFile.xls")读取工作表table=data.sheets()[0]#通过索引顺序获取table=data.sheet_by_index(0)#通过索引顺序获取table=data.sheet_by_name(u'Sheet1')#通过名称获取获取整行和整列的值（数组）table.row_values(i)#获取整行值table.col_values(i)#获取整列
系统 2019-09-27 17:51:17 2016
尽管很多人想要学习编程，但“万事开头难”这个道理，还是会将不少人劝退。你在网上找到的大多数教程，都既定假设用户已经知道了如何执行基本操作，甚至直接跳到服务器管理等进阶内容。好消息是，在Windows102019五月更新（Version1903）中，微软为想要学习Python编程的用户，提供了一个更加便捷的部署选项。python.jpg（题图via：OnMSFT）据悉，Python是一种易于上手和阅读的编程语言，功能性毋庸置疑，但并非Windows自带。此前
系统 2019-09-27 17:51:08 2016
pymysqldemo代码样例，暂时先写查询的，增删改后续再添加；通用部分无论是增删改查，都需要先建立数据库连接，创建游标importpymysql#建立一个mysql的conn，返回Connetion对象conn=pymysql.connect(host='localhost',user='root',passwd='p@ssWD',port='3306',db='test')#新建一个游标，默认返还元组，可选DictCursor让查询结果返还dict#
系统 2019-09-27 17:50:47 2016
老婆给当程序员的老公打电话：“下班顺路买一斤包子带回来，如果看到卖西瓜的，买一个。”当晚，程序员老公手捧一个包子进了家门……老婆怒道：“你怎么就买了一个包子？”老公答曰：“因为看到了卖西瓜的。”程序员买西瓜的笑话可能大部分读者都知道，今天写的这篇文章和这个笑话有一定的关系。任何编程语言都提供了if...else...语句，表示如果（if）满足条件就做某件事，否则（else）就做另外一件事：ifa==b:print("true")else:print("fa
系统 2019-09-27 17:50:46 2016
python多线程#创建线程threading_list=[]t1=threading.Thread(target=music,args=(u'爱情买卖',))threading_list.append(t1)t2=threading.Thread(target=move,args=(u'阿凡达',))threading_list.append(t2)fortinthreading_list:#启动线程t.setDaemon(True)#将线程声明为守护线
系统 2019-09-27 17:50:32 2016
理解一个算法最快，最深刻的做法，我觉着可能是自己手动实现，虽然项目中不用自己实现，有已经封装好的算法库，供我们调用，我觉着还是有必要自己亲自实践一下。这里首先说明一下，python这种动态语言，对不熟悉的人可能看着比较别扭，不像java那样参数类型是固定的，所以看着会有些蛋疼。这里环境用的是python2.7。classMessage:#commandMSG_ACCEPTOR_AGREE=0#追随者约定MSG_ACCEPTOR_ACCEPT=1#追随者接受
系统 2019-09-27 17:49:27 2016
