说到流处理，Spark为我们提供了窗口函数，允许在滑动数据窗口上应用转换，常用场景如每五分钟商场人流密度、每分钟流量等等，接下来我们通过画图来了解SparkStreaming的窗口函数如何工作的，处理过程图如下所示：上图中绿色的小框框是一批一批的数据流，虚线框和实线框分别是前一个窗口和后一个窗口，从图中可以看出后一个窗口在前一个窗口基础上移动了两个批次的数据流，而我们真正通过算子操作的数据其实就是窗口内所有的数据流。在代码实现前了解下窗口操作常用的函数有：
系统 2019-09-27 17:52:34 1898
在配置python环境，并安装所需包后，运行下列代码~importpandasaspdfromsqlalchemyimportcreate_engineimportcx_Oracle#进行oracle服务器设置，用户名；密码；HOST数据库IP地址；PORT端口号；SERVICE_NAMEdb=cx_Oracle.connect('userid','password','10.10.1.10:1521/dbinstance')print(db.versio
系统 2019-09-27 17:52:32 1898
建造者模式，也是一种创建新对象的设计方法，和C++中的虚函数很类似，但是用到了python自身的虚基类ABCMeta。1.应用场景:某个类中的函数较多，且实现比较复杂，很多时候需要继承的子类重载或者重新定义逻辑；2.背景基础：由于用到python中虚函数，需要了解abc模块中的ABCMeta和python中类创建对象时的__metaclass__属性含义。一般地，在某个类中如果定义__metaclass__=something时，简单地说是，创建对象时，会
系统 2019-09-27 17:52:26 1898
1.常用模块#连接数据库connect()函数创建一个新的数据库连接对话并返回一个新的连接实例对象PG_CONF_123={'user':'emma','port':123,'host':'192.168.1.123','password':'emma','database':'dbname'}conn=psycopg2.connect(**PG_CONF_123)#打开一个操作整个数据库的光标连接对象可以创建光标用来执行SQL语句cur=conn.cur
系统 2019-09-27 17:52:21 1898
B.py调用A.py的函数或类在同一个文件夹下调用函数：A.py文件：defadd(x,y):print('和为：%d'%(x+y))B.py文件：importAA.add(1,2)或fromAimportaddadd(1,2)调用类：A.py文件:classA:def__init__(self,xx,yy):self.x=xxself.y=yydefadd(self):print("x和y的和为：%d"%(self.x+self.y))B.py文件：fr
系统 2019-09-27 17:51:08 1898
代理ProxyHandler处理器（代理）1、代理的原理:在请求目的网站之前，先请求代理服务器，然后让代理服务器去请求目的网站，代理服务器拿到目的服务器的网站数据后，再转发给我们的代码。2、http://httpbin.org/ip这个网站可以方便我们查看一些http请求参数3、使用代理的方法：ProxyHandle这个方法需要传入一个字典，key：请求schema，value：代理服务器ip+端口fromurllibimportrequest##url=
系统 2019-09-27 17:50:55 1898
下面通过几个案例来分析一下，注意：本节的parsematch函数请参考《妙用re.sub分析正则表达式解析匹配过程》案例一：>>>re.findall(r".*.*(.*)",'第二回悟彻菩提真妙理断魔归本合元神')['断魔归本合元神']>>>parsematch(r".*.*(.*)",'第二回悟彻菩提真妙理断魔归本合元神')第1次匹配，匹配情况:匹配子串group(0):第二回悟彻菩提真妙理断魔归本合元神,位置为：(0,19)匹配子串group(1):
系统 2019-09-27 17:48:48 1898
一.字符串的写法1.单引号或双引号二.字符串是不会变的1.字符串不会变，只会新增后再赋值a='ABC'b=aa='XYZ'print(b)结果还是ABC三.字符串的拼接1.用加号+2.字符串不能与数字类型相加，需要使用内置函数str()将数字类型转换成字符串类型再拼接四.字符串的常用方法1.title()将字符串里面的英文单词（空格隔开的叫一个单词）首字母变大写，其他字符不变2.upper()将字符串里面的所有英文字符变大写，其他字符不变3.lower()
系统 2019-09-27 17:48:26 1898
文章目录获取当前决定路径os.getcwd()获取路径下的所有文件名和路径名os.listdir()创建文件夹os.makedirs()删除文件夹os.remove()获取文件的绝对路径os.path.abspath("init.py")判断指定路径或者文件是否存在os.path.exists()将文件路径和文件组成一个完成的路径os.ptah.join()获取当前决定路径os.getcwd()paths=os.getcwd()print(paths)#D
系统 2019-09-27 17:48:26 1898
API:statuses/public_timeline返回最新的200条公共微博，返回结果非完全实时CODE:#!/usr/bin/python#-*-coding:utf-8-*-'''Createdon2014-7-3@author:guaguastd@name:statuses_public_timeline.py'''defpublic_timeline(weibo_api,count):#public_timeline=weibo_api.st
系统 2019-09-27 17:48:06 1898
