说到流处理，Spark为我们提供了窗口函数，允许在滑动数据窗口上应用转换，常用场景如每五分钟商场人流密度、每分钟流量等等，接下来我们通过画图来了解SparkStreaming的窗口函数如何工作的，处理过程图如下所示：上图中绿色的小框框是一批一批的数据流，虚线框和实线框分别是前一个窗口和后一个窗口，从图中可以看出后一个窗口在前一个窗口基础上移动了两个批次的数据流，而我们真正通过算子操作的数据其实就是窗口内所有的数据流。在代码实现前了解下窗口操作常用的函数有：
系统 2019-09-27 17:52:34 2018
2019-09-18-21:11:24(初学者不会学博客,望大家见谅见谅)今天学的内容是有关list.、dict、set集合的使用方法和注意事项list和dict在循环中不可删,而且list在迭代输出时进行删除是会导致索引跟着改变所以一般list不在循环过程中进行删除list和dict要进行删除时,应该把要删除的记录到另一个列表中,然后在进行删除深浅拷贝:浅拷贝只拷贝第一层的内容,而深拷贝是全部内容都进行了拷贝下面是总结的内容:一.重要知识点1.str.j
系统 2019-09-27 17:51:29 2018
美国队长的锅emmmmmmmm.......没错就是他的锅#所需依赖：python3pycharm#print打印print('helloworld!')#注释符号#井号后面灰色的内容是注释，相当于笔记，会被机器忽略#变量和值#n是变量，100是值，等号的作用是赋值#n相当于高中数学的xyz，只不过xyz的值只能是数字，变量的功能要更强大n=100m='hello'print(n)print(m)#数据类型，这里只讲两个，剩下的需要同学自己去系统地学习了#
系统 2019-09-27 17:50:56 2018
前言传统Web开发方式常常需要编写繁琐乏味的重复性代码，不仅页面表现与逻辑实现的代码混杂在一起，而且代码编写效率不高。对于开发者来说，选择一个功能强大并且操作简洁的开发框架来辅助完成繁杂的编码工作，将会对开发效率的提升起到很大帮助。幸运的是，这样的开发框架并不少见，需要做的仅是从中选出恰恰为开发者量身打造的那款Web框架。自从基于MVC分层结构的Web设计理念普及以来，选择适合的开发框架无疑是项目成功的关键性因素。无论是Struts、Spring或是其他W
系统 2019-09-27 17:49:32 2018
文章目录获取当前决定路径os.getcwd()获取路径下的所有文件名和路径名os.listdir()创建文件夹os.makedirs()删除文件夹os.remove()获取文件的绝对路径os.path.abspath("init.py")判断指定路径或者文件是否存在os.path.exists()将文件路径和文件组成一个完成的路径os.ptah.join()获取当前决定路径os.getcwd()paths=os.getcwd()print(paths)#D
系统 2019-09-27 17:48:26 2018
什么是twisted？twisted是一个用python语言写的事件驱动的网络框架，他支持很多种协议，包括UDP,TCP,TLS和其他应用层协议，比如HTTP，SMTP，NNTM，IRC，XMPP/Jabber。非常好的一点是twisted实现和很多应用层的协议，开发人员可以直接只用这些协议的实现。其实要修改Twisted的SSH服务器端实现非常简单。很多时候，开发人员需要实现protocol类。一个Twisted程序由reactor发起的主循环和一些回调
系统 2019-09-27 17:38:27 2018
我们都知道并发（不是并行）编程目前有四种方式，多进程，多线程，异步，和协程。多进程编程在python中有类似C的os.fork，当然还有更高层封装的multiprocessing标准库，在之前写过的python高可用程序设计方法中提供了类似nginx中masterprocess和workerprocess间信号处理的方式，保证了业务进程的退出可以被主进程感知。多线程编程python中有Thread和threading，在linux下所谓的线程，实际上是LW
系统 2019-09-27 17:38:17 2018
从有道词典网页获取某单词的中文解释。importreimporturllibword=raw_input('inputaword\n')url='http://dict.youdao.com/search?q=%s'%wordcontent=urllib.urlopen(url)pattern=re.compile("",re.DOTALL)result=pattern.search(content.read()).group()pattern2=re.c
系统 2019-09-27 17:38:02 2018
昨天说了WorkbenchPart、EditorPart、ViewPart，以及为什么需要做这样的抽象，今天就先跳出这么细粒度的讲解，今天先来看看整个FlowDesigner的整体结构。反正说写博客，想到哪里说道哪里。在讲正题之前，如果阅读过前两篇的，可以先看看：Flex开发流程设计器的经验只谈（1）：连接>>>Flex开发流程设计器的经验只谈（2）：连接>>>整个FlowDesigner的粗的架构如下：其中“FlexGEF”是真正的Kernel，其内部的
系统 2019-08-29 22:46:55 2018
把广阔的范围都拍进一张照片就叫做全景照片。这种手法从很早以前就有，胶片相机上也有回转镜头部分的特别器材。不过数码相机的话，不需使用特别器材，通过合成图像技术的运用，用手边的相机就能简单地拍出全景照片。在此来说明一下这种拍摄方法。这是用附属软件“PhotoStitch”将用全景辅助功能（辅助拼接模式）拍摄的一张张照片合成后的成品。这样宽广的风景也能变成一张照片。合成的照片令人印象深刻，请大家在拍摄风景的时候多尝试。拍摄时，如果相机具有全景辅助模式就可以使用它
系统 2019-08-29 22:28:36 2018
