说到流处理，Spark为我们提供了窗口函数，允许在滑动数据窗口上应用转换，常用场景如每五分钟商场人流密度、每分钟流量等等，接下来我们通过画图来了解SparkStreaming的窗口函数如何工作的，处理过程图如下所示：上图中绿色的小框框是一批一批的数据流，虚线框和实线框分别是前一个窗口和后一个窗口，从图中可以看出后一个窗口在前一个窗口基础上移动了两个批次的数据流，而我们真正通过算子操作的数据其实就是窗口内所有的数据流。在代码实现前了解下窗口操作常用的函数有：
系统 2019-09-27 17:52:34 1861
1.锁：Lock(1次放1个)同步锁线程安全，多线程操作时，内部会让所有线程排队处理。如：list/dict/Queue线程不安全+人=>排队处理。需求：a.创建100个线程，在列表中追加8b.创建100个线程v=[]锁-把自己的添加到列表中。-在读取列表的最后一个。解锁以后锁一个代码块：importthreadingimporttimev=[]lock=threading.Lock()deffunc(arg):lock.acquire()#锁的区域---
系统 2019-09-27 17:52:33 1861
Python的字符串的特点Python与C语言,Java语言都不一样，没有单个字符，只有一个有一个字符的字符串。字符串对象不可修改，属于不可变类型字符串和列表，元组都从属于序列这个对象类别。所以序列支持的操作，字符串也支持。用单引号和双引号表示都行，并列的字符串串常量会自动合并，不需要显式的用加号表示。单双引号里面的特殊字符必须用转义序列表示，比如”，',\都需要在前面加个、，但是在三引号里面不需要转义。Python的字符串的支持的基本操作支持序列的操作，
系统 2019-09-27 17:52:13 1861
数据结构作为计算机基础的必修内容，也是很多大型互联网企业面试的必考题。可想而知，它在计算机领域的重要性。然而很多计算机专业的同学，都仅仅是了解数据结构的相关理论，却无法用代码实现各种数据结构。今日整理了一份常见数据结构的Python实现，希望大家能够参考代码，亲自动手通过代码实现各种数据结构，以巩固知识加深理解。以下内容整理于《Python实现各种常用算法》栈classStack(object):def__init__(self,limit=10):sel
系统 2019-09-27 17:52:13 1861
#-*-coding:utf-8-*-importsys,os'''将当前进程fork为一个守护进程注意：如果你的守护进程是由inetd启动的，不要这样做！inetd完成了所有需要做的事情，包括重定向标准文件描述符，需要做的事情只有chdir()和umask()了'''defdaemonize(stdin='/dev/null',stdout='/dev/null',stderr='dev/null'):'''Fork当前进程为守护进程，重定向标准文件描述
系统 2019-09-27 17:51:55 1861
python程序运行中，可由程序抛出异常。异常触发：使用raise命令抛出异常，即可使用异常基类Exception，也可使用自定义异常类（继承Exception类）。classPoint:def__init__(self,x,y):self.x=xself.y=y#DefineaclasstoraiseLineerrorsclassLineError(Exception):#继承自基类Exceptiondef__init__(self,ErrorInfo)
系统 2019-09-27 17:50:11 1861
第四章，了不起的分支和循环4.1分支和循环Python主要依靠缩进来区分代码块4.2快速上手成绩按照分数来划分等级，90分以上为A，80~90为B，60~80为C，60以下为Dp4_1.pyscore=int(input("请输入一个分数："))if100>=score>=90:print("A")if90>score>=80:print("B")if80>score>=60:print("C")if60>score>=0:print("D")ifscor
系统 2019-09-27 17:50:06 1861
1.遍历一个文件夹apks='C:\\xxx'filenames=os.listdir(apks)forfilenameinfilesnames:#此处遍历出来的非完整路径，只是文件名字do_something(apks+"\\"+filename)#绝对路径需要拼接处理2.判断一个文件或文件夹是否存在importosos.path.exists(test_file.txt)3.string转dict,dict转string#string转dict，使用e
系统 2019-09-27 17:48:45 1861
Importos;--Python自带print(os.getcwd())--获得当前工作目录os.chdir('/Users/longlong/Documents')--转换到/Users/longlong/Documents目录os.path.join(parm1,parm2,...)--从一个或多个路径片段中构造一个路径名。os.path.expanduser()--用来将包含～符号的路径扩展为完整的路径复制代码代码如下:>>>pathname='/
系统 2019-09-27 17:48:14 1861
分号不要在行尾加分号,也不要用分号将两条命令放在同一行.行长度每行不超过80个字符例外:长的导入模块语句注释里的URL不要使用反斜杠连接行.Python会将圆括号,中括号和花括号中的行隐式的连接起来,你可以利用这个特点.如果需要,你可以在表达式外围增加一对额外的圆括号.Yes:foo_bar(self,width,height,color='black',design=None,x='foo',emphasis=None,highlight=0)if(wi
系统 2019-09-27 17:48:08 1861
