说到流处理，Spark为我们提供了窗口函数，允许在滑动数据窗口上应用转换，常用场景如每五分钟商场人流密度、每分钟流量等等，接下来我们通过画图来了解SparkStreaming的窗口函数如何工作的，处理过程图如下所示：上图中绿色的小框框是一批一批的数据流，虚线框和实线框分别是前一个窗口和后一个窗口，从图中可以看出后一个窗口在前一个窗口基础上移动了两个批次的数据流，而我们真正通过算子操作的数据其实就是窗口内所有的数据流。在代码实现前了解下窗口操作常用的函数有：
系统 2019-09-27 17:52:34 1994
目录一、执行Python程序的两种方式1.1交互式1.2命令行式二、变量2.1什么是变量2.2如何定义变量2.3变量的组成2.4变量名的规范2.5变量名的两种命名风格三、常量四、Python变量内存管理4.1引用计数4.2垃圾回收机制4.3小整数池五、花式赋值5.1链式赋值5.2交叉赋值六、注释6.1单行注释6.2多行注释七、数据类型基础7.1为什么要有数据类型八、解压缩九、Python与用户交互十、Python格式化输出的三种方式10.1占位符%10.2
系统 2019-09-27 17:51:57 1994
美国队长的锅emmmmmmmm.......没错就是他的锅#所需依赖：python3pycharm#print打印print('helloworld!')#注释符号#井号后面灰色的内容是注释，相当于笔记，会被机器忽略#变量和值#n是变量，100是值，等号的作用是赋值#n相当于高中数学的xyz，只不过xyz的值只能是数字，变量的功能要更强大n=100m='hello'print(n)print(m)#数据类型，这里只讲两个，剩下的需要同学自己去系统地学习了#
系统 2019-09-27 17:50:56 1994
队、栈和链表一样，在数据结构中非常基础一种数据结构，同样他们也有各种各样、五花八门的变形和实现方式。但不管他们形式上怎么变，队和栈都有其不变的最基本的特征，我们今天就从最基本，最简单的实现来看看队列和堆栈。不管什么形式的队列，它总有的一个共同的特点就是“先进先出”。怎么理解呢?就像是超市排队结账，先排队的人排在队的前面，先结账出队。这是队列的特征。而堆栈则和队列相反，它是“先进后出”，怎么理解呢?基本所有的编辑器都有一个撤销功能，就是按Ctrl+Z。当你写
系统 2019-09-27 17:50:25 1994
serenity:DiscordAPI的Rust客户端#Discordserenitylibrespot:开源的Spotify客户端#Spotifylibrespot「Redox编程之夏博客系列」：为RedoxOS实现ptracePart2#RSoC目前是本系列第三篇。ptrace(processtrace)系统调用通常与调试相关,它是本地调试器监视类unix系统上调试的主要机制，同时也是实现strace系统调用跟踪的常用方法。ReadMore在Pytho
系统 2019-09-27 17:50:25 1994
python&djangologging小结[TOC]python基本一次配置,多处生效importlogginglogging.basicConfig(format='%(asctime)s%(message)s',datefmt='%m/%d/%Y%I:%M:%S%p')logging.warning('iswhenthiseventwaslogged.')>>>12/12/201011:46:36AMiswhenthiseventwaslogged.
系统 2019-09-27 17:50:19 1994
协程是什么我们已经做过不少爬虫项目，不过我们爬取的数据都不算太大，如果我们想要爬取的是成千上万条的数据，那么就会遇到一个问题：因为程序是一行一行依次执行的缘故，要等待很久，我们才能拿到想要的数据。既然一个爬虫爬取大量数据要爬很久，那我们能不能让多个爬虫一起爬取？这样无疑能提高爬取的效率，就像一个人干不完的活儿，组个团队一起干，活一下被干完了。这是一个很好的思路——让多个爬虫帮我们干活。但具体怎么用Python实现这事呢？我们可以先别急着想怎么实现这件事，后
系统 2019-09-27 17:50:16 1994
推荐系统的相关知识我们已在前文中提到，在这篇文章中，我们会介绍如何用Python来搭建一个简单的推荐系统。本文使用的数据集是MovieLens数据集，该数据集由明尼苏达大学的Grouplens研究小组整理。它包含1,10和2亿个评级。Movielens还有一个网站，我们可以注册，撰写评论并获得电影推荐。接下来我们就开始实战演练。在这篇文章中，我们会使用Movielens构建一个基于item的简易的推荐系统。在开始前，第一件事就是导入pandas和numPy
系统 2019-09-27 17:50:15 1994
前言传统Web开发方式常常需要编写繁琐乏味的重复性代码，不仅页面表现与逻辑实现的代码混杂在一起，而且代码编写效率不高。对于开发者来说，选择一个功能强大并且操作简洁的开发框架来辅助完成繁杂的编码工作，将会对开发效率的提升起到很大帮助。幸运的是，这样的开发框架并不少见，需要做的仅是从中选出恰恰为开发者量身打造的那款Web框架。自从基于MVC分层结构的Web设计理念普及以来，选择适合的开发框架无疑是项目成功的关键性因素。无论是Struts、Spring或是其他W
系统 2019-09-27 17:49:32 1994
列表列表是内建的数据结构，用来存储一系列元素。列表与字符串相同点：都支持索引（[]运算符）、切片（[:]）、拼接（+）、重复（*）、成员（in运算符）、长度（len()函数）和循环（for）操作。不同点：列表使用[]生成，元素之间用逗号分离，字符串使用成对引号生成；列表可以包含多种类型的对象，字符串只能是字符；列表的内容是可变的，字符串一旦生成就不可变。列表的可变性可以对列表中的任意元素进行重新赋值，如：lst[0]=‘a’可以通过切片操作对子列表进行赋值
系统 2019-09-27 17:49:26 1994
