说到流处理，Spark为我们提供了窗口函数，允许在滑动数据窗口上应用转换，常用场景如每五分钟商场人流密度、每分钟流量等等，接下来我们通过画图来了解SparkStreaming的窗口函数如何工作的，处理过程图如下所示：上图中绿色的小框框是一批一批的数据流，虚线框和实线框分别是前一个窗口和后一个窗口，从图中可以看出后一个窗口在前一个窗口基础上移动了两个批次的数据流，而我们真正通过算子操作的数据其实就是窗口内所有的数据流。在代码实现前了解下窗口操作常用的函数有：
系统 2019-09-27 17:52:34 2016
作为eclipse的忠实粉丝，我自然乐意用eclipse来编写。于是捣鼓了一小会儿就搞好了。但是我运行的第一个程序出现了一个很奇怪的问题：SyntaxError:(unicodeerror)‘utf-8’codeccan’tdecodebyte0xceinposition16:invalidcontinuationbyte我隐约的看到了utf-8，知道了肯定是编码的问题，可是我寻思我没有写汉字呀原来是自动生成的日期中有中文。删掉就好了。但是如果我们真的需要
系统 2019-09-27 17:52:01 2016
1.random.random()random.random()方法返回一个随机数，其在0至1的范围之内，以下是其具体用法：importrandomprint("随机数:",random.random())输出结果：0.228675212571162.random.uniform()random.uniform()是在指定范围内生成随机数，其有两个参数，一个是范围上限，一个是范围下线，具体用法如下：importrandomprint(random.unif
系统 2019-09-27 17:51:23 2016
新人小菜鸟又来写博客啦！！！没人表示不开心~~(>_<)~~今天我来弄一个简单的关键词提取的代码文章内容关键词的提取分为三大步：（1）分词（2）去停用词（3）关键词提取分词方法有很多，我这里就选择常用的结巴jieba分词；去停用词，我用了一个停用词表。具体代码如下：importjiebaimportjieba.analyse#第一步：分词，这里使用结巴分词全模式text='''新闻，也叫消息，是指报纸、电台、电视台、互联网经常使用的记录社会、传播信息、反映
系统 2019-09-27 17:51:23 2016
美国队长的锅emmmmmmmm.......没错就是他的锅#所需依赖：python3pycharm#print打印print('helloworld!')#注释符号#井号后面灰色的内容是注释，相当于笔记，会被机器忽略#变量和值#n是变量，100是值，等号的作用是赋值#n相当于高中数学的xyz，只不过xyz的值只能是数字，变量的功能要更强大n=100m='hello'print(n)print(m)#数据类型，这里只讲两个，剩下的需要同学自己去系统地学习了#
系统 2019-09-27 17:50:56 2016
python程序运行中，可由程序抛出异常。异常触发：使用raise命令抛出异常，即可使用异常基类Exception，也可使用自定义异常类（继承Exception类）。classPoint:def__init__(self,x,y):self.x=xself.y=y#DefineaclasstoraiseLineerrorsclassLineError(Exception):#继承自基类Exceptiondef__init__(self,ErrorInfo)
系统 2019-09-27 17:50:11 2016
推荐系统的相关知识我们已在前文中提到，在这篇文章中，我们会介绍如何用Python来搭建一个简单的推荐系统。本文使用的数据集是MovieLens数据集，该数据集由明尼苏达大学的Grouplens研究小组整理。它包含1,10和2亿个评级。Movielens还有一个网站，我们可以注册，撰写评论并获得电影推荐。接下来我们就开始实战演练。在这篇文章中，我们会使用Movielens构建一个基于item的简易的推荐系统。在开始前，第一件事就是导入pandas和numPy
系统 2019-09-27 17:49:46 2016
可视化是在整个数据挖掘的关键辅助工具，可以清晰的理解数据，从而调整我们的分析方法。1.Matplotlib基本概念Matplotlib是python的一个数据可视化工具库，专门用于开发2D图表(包括3D图表)，操作简单。2.Matplotlib三层结构容器层容器层由Canvas、Figure、Axes三部分组成。Canvas位于最底层的系统层，充当画板，即放置Figure的工具。Figure是Canvas上方的第一层，也是需要用户来操作的应用层的第一层，在
系统 2019-09-27 17:49:11 2016
python基础学习笔记（二）2013-02-2416:25虫师阅读(...)评论(...)编辑收藏继续第一篇的内容，讲解，python的一些基本的东西。注释为了让别人能够更容易理解程序，使用注释是非常有效的，即使是自己回头再看旧代码也是一样。>>>#获得用户名：>>>user_name=raw_input("whatisyourname?")在python中用井号（#）表示注释。井号（#）右边的内存将不被程序执行。即使没有注释，也应该让代码本身易于理解。
系统 2019-09-27 17:48:56 2016
阅读更多万能的Python大法可以做很多有趣的事情，那我们今天来看看使用简单的Python来实现对一个网页的朗读吧！首先我们需要装一些必要的库：readability它是用来提取网页内的内容的pipinstallreadability-lxmlgoose它是一个文章提取器，我们用它来进行文章的提取pipinstallgoose3baidu-aip百度提供的PythonSDK，接口文档：http://ai.baidu.com/docs#/TTS-Online
系统 2019-09-27 17:48:22 2016
