说到流处理，Spark为我们提供了窗口函数，允许在滑动数据窗口上应用转换，常用场景如每五分钟商场人流密度、每分钟流量等等，接下来我们通过画图来了解SparkStreaming的窗口函数如何工作的，处理过程图如下所示：上图中绿色的小框框是一批一批的数据流，虚线框和实线框分别是前一个窗口和后一个窗口，从图中可以看出后一个窗口在前一个窗口基础上移动了两个批次的数据流，而我们真正通过算子操作的数据其实就是窗口内所有的数据流。在代码实现前了解下窗口操作常用的函数有：
系统 2019-09-27 17:52:34 1972
今天接到一个新的任务,要对一个140多M的csv文件进行数据处理,总共有170多万行,尝试了导入本地的MySQL数据库进行查询,结果用Navicat导入直接卡死....估计是XAMPP套装里面全默认配置的MySQL性能不给力,又尝试用R搞一下吧结果发现光加载csv文件就要3分钟左右的时间,相当不给力啊,翻了翻万能的知乎发现了Python下的一个神器包:Pandas(熊猫们?),加载这个140多M的csv文件两秒钟就搞定,后面的分类汇总等操作也都是秒开,太牛
系统 2019-09-27 17:52:33 1972
最近学习了python基础，写一下3大排序练练手：复制代码代码如下:'''Createdon2013-8-23@author:codegeek'''//冒泡排序defbubble_sort(seq):foriinrange(len(seq)):forjinrange(i,len(seq)):ifseq[j]
系统 2019-09-27 17:52:28 1972
Flask或者其他框架都是封装的比较完善，我们可以不去关注路由、SESSION等到底是怎么实现的，现在我们使用socket来实现一个带有注册、登录功能的Todo网站，这样能对后端框架了解的稍微更深入一点（当然你也可以直接去看Flask源码）。主程序runserver.py代码如下：#!/usr/bin/envpython#-*-coding:utf-8-*-importsocketfromextsimportRequestfromrouteimportre
系统 2019-09-27 17:52:26 1972
扫描服务器ip开放端口，用线程池ThreadPoolExecutor，i7的cpu可以开到600个左右现成,大概20s左右扫描完65535个端口，根据电脑配置适当降低线程数#!/usr/local/python3.6.3/bin/python3.6#coding=utf-8importsocketimportdatetimeimportrefromconcurrent.futuresimportThreadPoolExecutor,waitDEBUG=Fa
系统 2019-09-27 17:52:19 1972
walker经常用到当前时间和相对时间，用来统计程序执行的效率，简单记一下，便于copy。相对时间>>>importtime#相对时间>>>startTime=time.time()>>>'%.2fs'%(time.time()-startTime)'24.51s'格式化当前时间#格式化当前时间>>>time.strftime('%Y-%m-%d%H:%M:%S',time.localtime())'2016-01-0510:34:06'时间戳与时间的转换
系统 2019-09-27 17:50:52 1972
这里先解释一下几个概念-位置参数:按位置设置的参数,隐式用元组保存对应形参.平时我们用的大多数是按位置传参.比如有函数deffunc(a,b,c),调用func(1,2,3).即a=1,b=2,c=3-关键字参数:可以通过关键字设置参数,不用关心参数位置,隐式用字典保存形参.比如有函数deffunc(a,b,c),调用func(b=1,c=2,a=3),即a=3,b=1,c=2普通格式复制代码代码如下:deffunc(opt_args):...return
系统 2019-09-27 17:50:13 1972
上周给大家推荐了新书PythonQtGUI与数据可视化编程，受到了广大读者的青睐，很多人问我何时上架？什么时间预订？能不能给发完整目录？需要这种知识很久了等回应。今天可以告诉大家，这本书上架啦！！！！【京东购买】【当当购买】本书介绍在Python中使用PyQt5和其他模块进行GUI和数据可视化编程的方法。第一部分介绍PyQt5设计GUI程序的基本框架，包括GUI应用程序的基本结构、窗体UI可视化设计与窗体业务逻辑的设计、信号与槽的特点和使用等。第二部分介绍
系统 2019-09-27 17:50:02 1972
原文链接：https://segmentfault.com/a/1190000016276635【时间】2019.09.06【题目】python实现客户端和服务器端传输数据转自：python实现客户端和服务器端传输数据服务器端：defsocket_service_data():try:s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)s.setsockopt(socket.SOL_SOCKET,socket
系统 2019-09-27 17:49:57 1972
推荐系统的相关知识我们已在前文中提到，在这篇文章中，我们会介绍如何用Python来搭建一个简单的推荐系统。本文使用的数据集是MovieLens数据集，该数据集由明尼苏达大学的Grouplens研究小组整理。它包含1,10和2亿个评级。Movielens还有一个网站，我们可以注册，撰写评论并获得电影推荐。接下来我们就开始实战演练。在这篇文章中，我们会使用Movielens构建一个基于item的简易的推荐系统。在开始前，第一件事就是导入pandas和numPy
系统 2019-09-27 17:49:46 1972
