说到流处理，Spark为我们提供了窗口函数，允许在滑动数据窗口上应用转换，常用场景如每五分钟商场人流密度、每分钟流量等等，接下来我们通过画图来了解SparkStreaming的窗口函数如何工作的，处理过程图如下所示：上图中绿色的小框框是一批一批的数据流，虚线框和实线框分别是前一个窗口和后一个窗口，从图中可以看出后一个窗口在前一个窗口基础上移动了两个批次的数据流，而我们真正通过算子操作的数据其实就是窗口内所有的数据流。在代码实现前了解下窗口操作常用的函数有：
系统 2019-09-27 17:52:34 1867
在上一篇文章中，我们讲了如何在linux上用python写一个守护进程。主要原理是利用linux的fork函数来创建一个进程，然后退出父进程运行，生成的子进程就会成为一个守护进程。细心观察的可能会发现，这个守护进程的运行身份是执行这个程序的用户，如果把这个守护程序加入到系统的服务项，那么这个守护程序的执行身份应该是root。一个情况出现了，root的权限比较大，如果通过这个root身份的守护程序来进行操作，危险性是比较大的。一种好的办法是生成一个身份为ro
系统 2019-09-27 17:52:32 1867
3.4.5断言断言(assertions)的使用方式类似于if语句，只是在不满足条件时，会直接抛出异常。类似于下面的if语句(伪代码)ifnotcondition:#如果不满足条件，会直接抛出异常，程序会中断crashprogram那么究竟为什么需要这样的代码呢？主要原因为需要检测程序在某个地方是否满足条件，如果不满足条件，应该及时通知开发人员，而不是将这些bug隐藏起来，知道关键的时候在崩溃。其实在TDD中经常使用断言，TDD会在程序发现异常时执行断言，
系统 2019-09-27 17:52:20 1867
数据结构作为计算机基础的必修内容，也是很多大型互联网企业面试的必考题。可想而知，它在计算机领域的重要性。然而很多计算机专业的同学，都仅仅是了解数据结构的相关理论，却无法用代码实现各种数据结构。今日整理了一份常见数据结构的Python实现，希望大家能够参考代码，亲自动手通过代码实现各种数据结构，以巩固知识加深理解。以下内容整理于《Python实现各种常用算法》栈classStack(object):def__init__(self,limit=10):sel
系统 2019-09-27 17:52:13 1867
Python3快速入门（八）——Python3JSON1、JSON简介JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式，是基于ECMAScript的一个子集。2、json模块简介Python3中可以使用json模块来对JSON数据进行编解码，包含两个函数：json.dumps():对数据进行编码。json.loads():对数据进行解码。在json的编解码过程中，Python的数据类型与json类型会相互转换。json
系统 2019-09-27 17:51:32 1867
平时做数据处理基本离不了日志记录功能。每次都配置一堆挺烦人，索性封装个模块，这里记录一下，与大家共享。说明本日志模块目前只有一个方法getLogger，其他配置项通过参数传递，包括日志文件名，等级，日志文件划分方式，日志清除配置，日志格式等。logger.pyimportloggingfromloggingimporthandlers#日志级别字典__level_dict={'critical':logging.CRITICAL,'fatal':loggi
系统 2019-09-27 17:50:32 1867
python程序运行中，可由程序抛出异常。异常触发：使用raise命令抛出异常，即可使用异常基类Exception，也可使用自定义异常类（继承Exception类）。classPoint:def__init__(self,x,y):self.x=xself.y=y#DefineaclasstoraiseLineerrorsclassLineError(Exception):#继承自基类Exceptiondef__init__(self,ErrorInfo)
系统 2019-09-27 17:50:11 1867
文章目录获取当前决定路径os.getcwd()获取路径下的所有文件名和路径名os.listdir()创建文件夹os.makedirs()删除文件夹os.remove()获取文件的绝对路径os.path.abspath("init.py")判断指定路径或者文件是否存在os.path.exists()将文件路径和文件组成一个完成的路径os.ptah.join()获取当前决定路径os.getcwd()paths=os.getcwd()print(paths)#D
系统 2019-09-27 17:48:26 1867
什么是Python？Python是一种功能强大的高级编程语言，主要用于科学和工程计算。它是一种高效的语言，优雅务实，简单而强大，适合新手和专业人士的编程。Python支持多种编程范例，并提出了一个大型标准库，包括面向对象，命令式，功能性和程序性。Go是什么？Go是一种通用编程语言，由Google设计；它借鉴了许多其他许多好主意语言，同时避免导致复杂性和不可靠代码的功能。Go支持多范式，如程序，功能和并发。它的语法传统上来自C语言，但它已经做了很多修改，以改
系统 2019-09-27 17:48:01 1867
闲来无事，想看看python，网上看了一下教程，好像入门问题不大，那就说干就干。先大概了解一下python的语法。传送门：https://www.runoob.com/python/python-tutorial.html最基础的语法啊，balabala一堆，反正先看下，了解一下。然后就是来搭建一下环境，网上看了一下，linux如何搭建python环境，一看吓一跳，linux本身自带python运行环境。这么刺激的嘛，赶紧打开我的linux，先瞅瞅：终端下
系统 2019-09-27 17:47:45 1867
