说到流处理，Spark为我们提供了窗口函数，允许在滑动数据窗口上应用转换，常用场景如每五分钟商场人流密度、每分钟流量等等，接下来我们通过画图来了解SparkStreaming的窗口函数如何工作的，处理过程图如下所示：上图中绿色的小框框是一批一批的数据流，虚线框和实线框分别是前一个窗口和后一个窗口，从图中可以看出后一个窗口在前一个窗口基础上移动了两个批次的数据流，而我们真正通过算子操作的数据其实就是窗口内所有的数据流。在代码实现前了解下窗口操作常用的函数有：
系统 2019-09-27 17:52:34 2016
本文实例讲述了python日志logging模块使用方法。分享给大家供大家参考，具体如下：一、从一个使用场景开始开发一个日志系统，既要把日志输出到控制台，还要写入日志文件importlogging#创建一个loggerlogger=logging.getLogger('mylogger')logger.setLevel(logging.DEBUG)#创建一个handler，用于写入日志文件fh=logging.FileHandler('test.log')
系统 2019-09-27 17:51:47 2016
说起Python强大的地方，你可能想到是它的优雅、简洁、开发速度快，社区活跃度高。但真正使得这门语言经久不衰的一个重要原因是它的无所不能，因为社区有各种各样的第三库，使得我们用Python实现一个东西实在是太简单了，你经常会看到几行代码实现爬虫，10行代码实现人脸识别，虽然有些夸张，但确实就是有这样的库帮你把所有的繁文缛节全部封装了，最后给你开放一个优雅的API。今天给你推荐的这个库叫“FuckIt.py”，名字一看就是很黄很暴力的那种，作者是这样介绍它的
系统 2019-09-27 17:50:33 2016
可视化是在整个数据挖掘的关键辅助工具，可以清晰的理解数据，从而调整我们的分析方法。1.Matplotlib基本概念Matplotlib是python的一个数据可视化工具库，专门用于开发2D图表(包括3D图表)，操作简单。2.Matplotlib三层结构容器层容器层由Canvas、Figure、Axes三部分组成。Canvas位于最底层的系统层，充当画板，即放置Figure的工具。Figure是Canvas上方的第一层，也是需要用户来操作的应用层的第一层，在
系统 2019-09-27 17:49:11 2016
python基础学习笔记（三）2013-04-1800:22虫师阅读(...)评论(...)编辑收藏序列概览Python包含6种内建的序列，这里重点讨论最常用的两种类型：列表和元组。列表与元组的主要区别在于，列表可以修改，元组则不能。也就是说如果要根据要求来添加元素，那么列表可以会更好用；而出于某些原因，序列不能修改的时候，使用元组则更为合适。在操作一组数值的时候，序列很好用。可以用序列表示数据库中一个人的信息---第一1是姓名，第2个元素是年龄。根据上述
系统 2019-09-27 17:48:57 2016
在表达式中引用变量时，Python会按照如下的顺序遍历各个作用域，寻找该变量：当前函数作用域任何外围作用域（比如包含当前函数的其他函数）global作用域，即代码所在的模块的作用域如果上述作用域内都找不到变量，就会报NameError异常。但是对变量赋值时，规则会有所不同。如果当前作用域变量已存在，那么其值会被替换。如果不存在，则会视为在当前作用域定义新变量，而不是向外围作用域中寻找。如下函数deffunction():flag=Truedefhelper
系统 2019-09-27 17:46:14 2016
这次只演示了，如何在真实项目内用到BeautifulSoup库来解析网页，而新浪的新闻是ajax加载过来的数据，在这里我们只演示解析部分数据（具体反扒机制没做分析）。代码地址：https://gitee.com/dwyui/BeautifulSoup_xinlang.git。关于的爬虫的博客已经越来越多，使用到的技术也越来越多，后期我还会持续写下去，大概从几个角度去写，多线程爬取（提高效率），如何更好的做到爬取数据（破解反扒）。用redis管理多线程和代理
系统 2019-09-27 17:45:54 2016
1、函数实现#-*-coding:utf-8-*-deftail(filename,n=10):withopen(filename,"r")asf:lines=f.readlines()[-n:]return"".join(lines)2、测试文件poetry.txt为了方便验证，每行之前加上行号数字1.虞美人・宜州见梅作2.3.宋代：黄庭坚4.5.天涯也有江南信。6.梅破知春近。7.夜阑风细得香迟。8.不道晓来开遍、向南枝。9.10.玉台弄粉花应妒。11
系统 2019-09-27 17:45:33 2016
Pythonsocket网络编程初学python，前段时间买了两本书《python编程从入门到实践》《Python核心编程第三版》，第一本书主要讲的是一些基本语法和一些基本的使用方法，而第二本则深入很多，自己看来也是一知半解，刚好看到了这部分网络编程，依然有好多不太理解的地方，不过想来通过自己不断的摸索，不断地搜寻资料学习，早晚应该会变得通透吧.......这部分主要使用的模块就是socket模块，在这个模块中可以找到socket()函数，该函数用于创建套
系统 2019-09-27 17:38:34 2016
什么是twisted？twisted是一个用python语言写的事件驱动的网络框架，他支持很多种协议，包括UDP,TCP,TLS和其他应用层协议，比如HTTP，SMTP，NNTM，IRC，XMPP/Jabber。非常好的一点是twisted实现和很多应用层的协议，开发人员可以直接只用这些协议的实现。其实要修改Twisted的SSH服务器端实现非常简单。很多时候，开发人员需要实现protocol类。一个Twisted程序由reactor发起的主循环和一些回调
系统 2019-09-27 17:38:27 2016
