说到流处理，Spark为我们提供了窗口函数，允许在滑动数据窗口上应用转换，常用场景如每五分钟商场人流密度、每分钟流量等等，接下来我们通过画图来了解SparkStreaming的窗口函数如何工作的，处理过程图如下所示：上图中绿色的小框框是一批一批的数据流，虚线框和实线框分别是前一个窗口和后一个窗口，从图中可以看出后一个窗口在前一个窗口基础上移动了两个批次的数据流，而我们真正通过算子操作的数据其实就是窗口内所有的数据流。在代码实现前了解下窗口操作常用的函数有：
系统 2019-09-27 17:52:34 1917
1.锁：Lock(1次放1个)同步锁线程安全，多线程操作时，内部会让所有线程排队处理。如：list/dict/Queue线程不安全+人=>排队处理。需求：a.创建100个线程，在列表中追加8b.创建100个线程v=[]锁-把自己的添加到列表中。-在读取列表的最后一个。解锁以后锁一个代码块：importthreadingimporttimev=[]lock=threading.Lock()deffunc(arg):lock.acquire()#锁的区域---
系统 2019-09-27 17:52:33 1917
目录：0引言1环境2代码实现3后记0引言前段时间，微信朋友圈开始出现了一种晒照片新形式，微信好友墙，即在一张大图片中展示出自己的所有微信好友的头像。效果如下图，出于隐私考虑，这里作了模糊处理。是不是很炫，而且这还是独一无二的，毕竟每个人的微信好友是不一样的。本文就教大家用Python来实现这种效果。1环境操作系统：WindowsPython版本：3.7.32代码实现我们需要首先需要获取好友的头像信息，接下来处理图像并完成图像的拼接。2.0准备工作在这里，我
系统 2019-09-27 17:50:39 1917
python&djangologging小结[TOC]python基本一次配置,多处生效importlogginglogging.basicConfig(format='%(asctime)s%(message)s',datefmt='%m/%d/%Y%I:%M:%S%p')logging.warning('iswhenthiseventwaslogged.')>>>12/12/201011:46:36AMiswhenthiseventwaslogged.
系统 2019-09-27 17:50:19 1917
centospython3.4更新到3.6python3.4是yum安装的就直接执行命令：yumupdatepython34-y如果是通过源码安装的，就需要下3.6源码包，重新解压，编译，安装
系统 2019-09-27 17:50:00 1917
输入：s=‘happying’输出：s=‘gniyppah’方法1#使用字符串切片r=s[::-1]方法2#使用reducer=reduce(lambdax,y:y+x,s)方法3#使用递归函数#字符串s的倒序是,是s除去第一个字符的字符串的倒序加上第一个字符deffunc(s):iflen(s)<1:returnsreturnfunc(s[1:])+s[0]r=func(s)方法4#使用列表的reverse方法#reverse不是按照与字母顺序相反的顺序
系统 2019-09-27 17:49:53 1917
原题|Left-recursivePEGgrammars作者|GuidovanRossum（Python之父）译者|豌豆花下猫（“Python猫”公众号作者）声明|本翻译是出于交流学习的目的，基于CCBY-NC-SA4.0授权协议。为便于阅读，内容略有改动。我曾几次提及左递归是一块绊脚石，是时候去解决它了。基本的问题在于：使用递归下降解析器时，左递归会因堆栈溢出而导致程序终止。【这是我的PEG系列的第5部分。其它文章参见这个目录】假设有如下的语法规则：ex
系统 2019-09-27 17:49:42 1917
更新mysql8.17的脚本：2019-09-19#-*-coding:utf-8-*-importsysreload(sys)importgetoptimportcommandsimportsubprocessimportfileinputimportos__author__='Lenny'INFO="\033[1;33;40m%s\033[0m"ERROR="\033[1;31;40m%s\033[0m"NOTICE="\033[1;32;40m%s\
系统 2019-09-27 17:49:31 1917
经历移植jinja2到python3的痛苦之后，我把项目暂时放一放，因为我怕打破python3的兼容。我的做法是只用一个python2的代码库，然后在安装的时候用2to3工具翻译成python3。不幸的是哪怕一点点的改动都会打破迭代开发。如果你选对了python的版本，你可以专心做事，幸运的避免了这个问题。来自MoinMoin项目的ThomasWaldmann通过我的python-modernize跑jinja2，并且统一了代码库，能同时跑python2,
系统 2019-09-27 17:49:06 1917
前一段时间一直在研究如何用python抓取搜索引擎结果，在实现的过程中遇到了很多的问题，我把我遇到的问题都记录下来，希望以后遇到同样问题的童鞋不要再走弯路。1.搜索引擎的选取选择一个好的搜索引擎意味着你能够得到更准确的搜索结果。我用过的搜索引擎有四种：Google、Bing、Baidu、Yahoo!。作为程序员，我首选Google。但当我看见我最爱的Google返回给我的全是一堆的js代码，根本没我想要的搜索结果。于是我转而投向了Bing的阵营，在用过一段
系统 2019-09-27 17:48:21 1917
