说到流处理，Spark为我们提供了窗口函数，允许在滑动数据窗口上应用转换，常用场景如每五分钟商场人流密度、每分钟流量等等，接下来我们通过画图来了解SparkStreaming的窗口函数如何工作的，处理过程图如下所示：上图中绿色的小框框是一批一批的数据流，虚线框和实线框分别是前一个窗口和后一个窗口，从图中可以看出后一个窗口在前一个窗口基础上移动了两个批次的数据流，而我们真正通过算子操作的数据其实就是窗口内所有的数据流。在代码实现前了解下窗口操作常用的函数有：
系统 2019-09-27 17:52:34 1990
SymPy是符号数学的Python库。它的目标是成为一个全功能的计算机代数系统，同时保持代码简洁、易于理解和扩展#coding:utf-8'''函数极限'''importsympysympy.init_printing()fromsympyimportI,pi,ooimportnumpyasnpx=sympy.Symbol('x')expr=sympy.sin(x)/xresult=sympy.limit(expr,x,0)print('limit:',r
系统 2019-09-27 17:52:24 1990
闲暇之余，在家里自建了个服务器，因为用的小区宽带，IP位动态分配。域名解析就是个问题，我的域名一般停放在DNSPod下。DNSPod有提供修改的API，就用Python简单的实现了一下动态解析。这样，就不用安装花生壳了。废话不说，看代码：#!/usr/bin/envpython#-*-coding:utf-8-*-importhttplib,urllib,urllib2importtimeimportsys,osimportreimportjsonuser
系统 2019-09-27 17:52:14 1990
2019-09-18-21:11:24(初学者不会学博客,望大家见谅见谅)今天学的内容是有关list.、dict、set集合的使用方法和注意事项list和dict在循环中不可删,而且list在迭代输出时进行删除是会导致索引跟着改变所以一般list不在循环过程中进行删除list和dict要进行删除时,应该把要删除的记录到另一个列表中,然后在进行删除深浅拷贝:浅拷贝只拷贝第一层的内容,而深拷贝是全部内容都进行了拷贝下面是总结的内容:一.重要知识点1.str.j
系统 2019-09-27 17:51:29 1990
原文链接：https://segmentfault.com/a/1190000016276635【时间】2019.09.06【题目】python实现客户端和服务器端传输数据转自：python实现客户端和服务器端传输数据服务器端：defsocket_service_data():try:s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)s.setsockopt(socket.SOL_SOCKET,socket
系统 2019-09-27 17:49:57 1990
注意：python3.x已经不支持raw_input了，已经更替成了input。raw_input()str=raw_input("Enteryourinput:")input()，不能读到\n，读入一行，可以用连续的input来实现读入多行。input()函数和raw_input()函数基本能够互换。可是input会如果你的输入是一个有效的Python表达式，并返回运算结果。str=input("Enteryourinput:")n,k,m=map(in
系统 2019-09-27 17:49:31 1990
最近要对一系列数据做同比比较，需要用到numpy和pandas来计算，不过使用python安装numpy和pandas因为linux环境没有外网遇到了很多问题就记下来了。首要条件，python版本必须是2.7以上。linux首先安装依赖包yum-yinstallblasblas-devellapack-devellapackyum-yinstallseabornscipyyum-yinstallfreetypefreetype-devellibpnglib
系统 2019-09-27 17:49:31 1990
*args和**kwargs是常用的两个参数*args：用于接受多余的未命名的参数，元组类型。**kwargs：用于接受形参的命名参数，字典类型的数据。可变参数args：deffun(n,*args):print(n)print(args)#未拆包print(*args)#进行拆包fun(1,2,3,4)结果：1(2,3,4)234形参中的*args是接受数据的args，它是一个元组，把传入的数据放进args元组中。函数中的args仍然是元组，*args就
系统 2019-09-27 17:48:57 1990
0x00:使用xpath进行网页解析#coding:utf-8importrequestsimportosimportrefromlxmlimportetreeimporttimedefget_title(title):#获取标题，创建文件path=r"./Pic/"+titleifos.path.exists(path):#文件夹存在，返回returnpathelse:os.makedirs(path)#创建空文件夹returnpathdefpic_ge
系统 2019-09-27 17:48:15 1990
什么是Python？Python是一种功能强大的高级编程语言，主要用于科学和工程计算。它是一种高效的语言，优雅务实，简单而强大，适合新手和专业人士的编程。Python支持多种编程范例，并提出了一个大型标准库，包括面向对象，命令式，功能性和程序性。Go是什么？Go是一种通用编程语言，由Google设计；它借鉴了许多其他许多好主意语言，同时避免导致复杂性和不可靠代码的功能。Go支持多范式，如程序，功能和并发。它的语法传统上来自C语言，但它已经做了很多修改，以改
系统 2019-09-27 17:48:01 1990
