说到流处理，Spark为我们提供了窗口函数，允许在滑动数据窗口上应用转换，常用场景如每五分钟商场人流密度、每分钟流量等等，接下来我们通过画图来了解SparkStreaming的窗口函数如何工作的，处理过程图如下所示：上图中绿色的小框框是一批一批的数据流，虚线框和实线框分别是前一个窗口和后一个窗口，从图中可以看出后一个窗口在前一个窗口基础上移动了两个批次的数据流，而我们真正通过算子操作的数据其实就是窗口内所有的数据流。在代码实现前了解下窗口操作常用的函数有：
系统 2019-09-27 17:52:34 2070
目录一、执行Python程序的两种方式1.1交互式1.2命令行式二、变量2.1什么是变量2.2如何定义变量2.3变量的组成2.4变量名的规范2.5变量名的两种命名风格三、常量四、Python变量内存管理4.1引用计数4.2垃圾回收机制4.3小整数池五、花式赋值5.1链式赋值5.2交叉赋值六、注释6.1单行注释6.2多行注释七、数据类型基础7.1为什么要有数据类型八、解压缩九、Python与用户交互十、Python格式化输出的三种方式10.1占位符%10.2
系统 2019-09-27 17:51:57 2070
2019-09-18-21:11:24(初学者不会学博客,望大家见谅见谅)今天学的内容是有关list.、dict、set集合的使用方法和注意事项list和dict在循环中不可删,而且list在迭代输出时进行删除是会导致索引跟着改变所以一般list不在循环过程中进行删除list和dict要进行删除时,应该把要删除的记录到另一个列表中,然后在进行删除深浅拷贝:浅拷贝只拷贝第一层的内容,而深拷贝是全部内容都进行了拷贝下面是总结的内容:一.重要知识点1.str.j
系统 2019-09-27 17:51:29 2070
三引号完全原样输出print(r"""xx\n\adaadf=?aa“”")重复输出print(3*“ab”)print(“ab”*3)abababababab3、列表定义x=“world”y=[1,2,3,4,5]索引（负数从右边开始，正数从左边开始）print(x[0])print(y[4])print(x[-2])print(y[-1])print(y[-5])print(x[-5])w5l51w切片x=“world”y=[1,2,3,4,5]pri
系统 2019-09-27 17:51:22 2070
Python中定义函数有两种方法，一种是用常规方式def定义，函数要指定名字，第二种是用lambda定义，不需要指定名字，称为Lambda函数。Lambda函数又称匿名函数，匿名函数就是没有名字的函数，函数没有名字也行？当然可以啦。有些函数如果只是临时一用，而且它的业务逻辑也很简单时，就没必要非给它取个名字不可。好比电影里面的群众演员，往往他们的戏份很少，最多是衬托主演，跑跑龙套，他们需要名字吗？不需要，因为他们仅仅只是临时出镜，下次可能就用不着了，所以犯
系统 2019-09-27 17:50:41 2070
在Thread和Process中，应当优选Process，因为Process更稳定，而且，Process可以分布到多台机器上，而Thread最多只能分布到同一台机器的多个CPU上。Python的multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上。一个服务进程可以作为调度者，将任务分布到其他多个进程中，依靠网络通信。由于managers模块封装很好，不必了解网络通信的细节，就可以很容易地编写分布式多进程
系统 2019-09-27 17:50:30 2070
python基础学习笔记（三）2013-04-1800:22虫师阅读(...)评论(...)编辑收藏序列概览Python包含6种内建的序列，这里重点讨论最常用的两种类型：列表和元组。列表与元组的主要区别在于，列表可以修改，元组则不能。也就是说如果要根据要求来添加元素，那么列表可以会更好用；而出于某些原因，序列不能修改的时候，使用元组则更为合适。在操作一组数值的时候，序列很好用。可以用序列表示数据库中一个人的信息---第一1是姓名，第2个元素是年龄。根据上述
系统 2019-09-27 17:48:57 2070
利用twitter/bootstrap，项目的基础模板算是顺利搞定。接下来开始处理用户中心。用户中心主要包括用户登陆、注册以及头像等个人信息维护。此前，用户的注册管理我一直使用django-registration。只是这个APP有些不思进取，09年发布了0.8alpha版后就一直没什么动静。这次决定尝试另外一个用户模块组件django-userena。相比django-registration，django-userena的功能要完善的多。除基础的登陆注
系统 2019-09-27 17:46:12 2070
一、可变对象与非可变对象想要理解浅拷贝与深拷贝就必须得先明白可变对象与非可变对象。可变对象有:list，dict，set不可变对象有：int，float，bool，str，tuple。两者区别：对于可变对象，其值改变是在原地址上操作，不会创建新的内存地址。对于不可变对象其值改变是直接创建新的内存地址。二、赋值操作符‘=’表示对象的引用。python里面的赋值操作符‘=’实际上是对象的引用，其并没有进行复制操作。如果如果赋值操作符右边的操作数是字面值，比如字
系统 2019-09-27 17:46:11 2070
安装SDK：pipinstallbaidu-aip如果在pycharm里也可以在setting----ProjectInterpreter---右边绿色加号，输入baidu，安装baidu-aip入门代码：先去百度AI开放平台注册一个账号，然后开通人脸识别，免费的http://ai.baidu.com/tech/face之后把得到的Apikeysecretkey填进去。fromaipimportAipFace"""你的APPIDAKSK"""APP_ID=
系统 2019-09-27 17:45:59 2070
