说到流处理，Spark为我们提供了窗口函数，允许在滑动数据窗口上应用转换，常用场景如每五分钟商场人流密度、每分钟流量等等，接下来我们通过画图来了解SparkStreaming的窗口函数如何工作的，处理过程图如下所示：上图中绿色的小框框是一批一批的数据流，虚线框和实线框分别是前一个窗口和后一个窗口，从图中可以看出后一个窗口在前一个窗口基础上移动了两个批次的数据流，而我们真正通过算子操作的数据其实就是窗口内所有的数据流。在代码实现前了解下窗口操作常用的函数有：
系统 2019-09-27 17:52:34 2015
目录一、执行Python程序的两种方式1.1交互式1.2命令行式二、变量2.1什么是变量2.2如何定义变量2.3变量的组成2.4变量名的规范2.5变量名的两种命名风格三、常量四、Python变量内存管理4.1引用计数4.2垃圾回收机制4.3小整数池五、花式赋值5.1链式赋值5.2交叉赋值六、注释6.1单行注释6.2多行注释七、数据类型基础7.1为什么要有数据类型八、解压缩九、Python与用户交互十、Python格式化输出的三种方式10.1占位符%10.2
系统 2019-09-27 17:51:57 2015
python的dict用起来很方便，可以自定义key值，并通过下标访问，示例如下：复制代码代码如下:>>>d={'key1':'value1',...'key2':'value2',...'key3':'value3'}>>>printd['key2']value2>>>lambda表达式也是很实用的东东，示例如下：复制代码代码如下:>>>f=lambdax:x**2>>>printf(2)4>>>两者结合可以实现结构相似的函数调用，使用起来很方便，示例如
系统 2019-09-27 17:51:38 2015
三引号完全原样输出print(r"""xx\n\adaadf=?aa“”")重复输出print(3*“ab”)print(“ab”*3)abababababab3、列表定义x=“world”y=[1,2,3,4,5]索引（负数从右边开始，正数从左边开始）print(x[0])print(y[4])print(x[-2])print(y[-1])print(y[-5])print(x[-5])w5l51w切片x=“world”y=[1,2,3,4,5]pri
系统 2019-09-27 17:51:22 2015
python程序运行中，可由程序抛出异常。异常触发：使用raise命令抛出异常，即可使用异常基类Exception，也可使用自定义异常类（继承Exception类）。classPoint:def__init__(self,x,y):self.x=xself.y=y#DefineaclasstoraiseLineerrorsclassLineError(Exception):#继承自基类Exceptiondef__init__(self,ErrorInfo)
系统 2019-09-27 17:50:11 2015
第四章，了不起的分支和循环4.1分支和循环Python主要依靠缩进来区分代码块4.2快速上手成绩按照分数来划分等级，90分以上为A，80~90为B，60~80为C，60以下为Dp4_1.pyscore=int(input("请输入一个分数："))if100>=score>=90:print("A")if90>score>=80:print("B")if80>score>=60:print("C")if60>score>=0:print("D")ifscor
系统 2019-09-27 17:50:06 2015
推荐系统的相关知识我们已在前文中提到，在这篇文章中，我们会介绍如何用Python来搭建一个简单的推荐系统。本文使用的数据集是MovieLens数据集，该数据集由明尼苏达大学的Grouplens研究小组整理。它包含1,10和2亿个评级。Movielens还有一个网站，我们可以注册，撰写评论并获得电影推荐。接下来我们就开始实战演练。在这篇文章中，我们会使用Movielens构建一个基于item的简易的推荐系统。在开始前，第一件事就是导入pandas和numPy
系统 2019-09-27 17:49:46 2015
文件基本语法file=open(‘文件名’,mode)编码encoding=‘utf8’读模式存在返回True，否则抛出异常FileNotFoundError写模式存在返回True，否则新建文件mode读r写w追加a二进制b读写+操作读取所有内容read()读取一行readline()读取所有行列表readlines()关闭文件close()自动关闭withopen(目标文件)asf:存取Python对象pickle写对象dump(对象，目标文件)读对象l
系统 2019-09-27 17:49:39 2015
下面通过几个案例来分析一下，注意：本节的parsematch函数请参考《妙用re.sub分析正则表达式解析匹配过程》案例一：>>>re.findall(r".*.*(.*)",'第二回悟彻菩提真妙理断魔归本合元神')['断魔归本合元神']>>>parsematch(r".*.*(.*)",'第二回悟彻菩提真妙理断魔归本合元神')第1次匹配，匹配情况:匹配子串group(0):第二回悟彻菩提真妙理断魔归本合元神,位置为：(0,19)匹配子串group(1):
系统 2019-09-27 17:48:48 2015
阅读更多万能的Python大法可以做很多有趣的事情，那我们今天来看看使用简单的Python来实现对一个网页的朗读吧！首先我们需要装一些必要的库：readability它是用来提取网页内的内容的pipinstallreadability-lxmlgoose它是一个文章提取器，我们用它来进行文章的提取pipinstallgoose3baidu-aip百度提供的PythonSDK，接口文档：http://ai.baidu.com/docs#/TTS-Online
系统 2019-09-27 17:48:22 2015
