在之前学习的RDD和DataFrame数据集主要处理的是离线数据，随着时代发展进步，我们会发现越来越多数据是在源源不断发回到数据中心，同时需要立刻响应给用户，这样的情况我们就会用到实时处理，常用的场景有实时显示某商场一小时人流密度、实时显示当天火车站人口总数等等。接下来从实时数据源说起，实时数据源主要有：FileSourceSocketSourceFlumeSourceKafkaSourceFileSource指的是文件作为数据来源，常用的有本地文件fil
系统 2019-09-27 17:52:32 1845
前言学习一个库的最好的方式是了解这个库的源码和组成原理，有时候源码可能会略显生涩，这时候我们想通过查看文档来了解，所以我们可以通过输出库自带的描述文档来了解一个库。Numpy和Scipy模块numpy提供了数组对象，面向的任何使用者。scipy在numpy的基础上，面向科学家和工程师，提供了更为精准和广泛的函数。scipy几乎实现numpy的所有函数，一般而言，如果scipy和numpy都有这个函数的话，应该用scipy中的版本，因为scipy中的版本往往
系统 2019-09-27 17:52:27 1845
对一名开发者来说最糟糕的情况，莫过于要弄清楚一个不熟悉的应用为何不工作。有时候，你甚至不知道系统运行，是否跟原始设计一致。在线运行的应用就是黑盒子，需要被跟踪监控。最简单也最重要的方式就是记录日志。记录日志允许我们在开发软件的同时，让程序在系统运行时发出信息，这些信息对于我们和系统管理员来说都是有用的。就像为将来的程序员写代码文档一样，我们应该让新软件产生足够的日志供系统的开发者和管理员使用。日志是关于应用运行状态的系统文件的关键部分。给软件加日志产生句时
系统 2019-09-27 17:52:07 1845
目录1.分支结构1.1初步介绍1.2使用案例1.3练习2.循环结构1.1初步介绍1.2使用案例1.分支结构1.1初步介绍至今，我们所写的Python代码都是顺序执行，但是有时候在代码中是需要进行逻辑判断的，比如用户输入用户名和密码，输入正确则验证通过，否则即验证失败。这个时候就会产生两个分支，而且两个分支只会有一条分支会走下去。当然，还有很多类似的场景，我们将这种结果称为"分支结构"或“选择结构”。语法格式：ifxxx1:事情1elifxxx2:事情2el
系统 2019-09-27 17:51:46 1845
工作中用到了C/S模型，所做的也无非是给服务器发数据，但开发阶段会遇到程序自身的回环测试，需要用到简单的服务端以便验证数据发送的正确性。写软件用C++，跑测试用python，这段时间也刚好看go语言，所以都要有demo。以下三组程序实现的功能相同，这里一起做下总结。一、C++实现Boost.Asio是一个跨平台的C++库，它用现代C++方法为网络和底层I/O程序提供了一致的异步I/O模型。为了跨平台，我用boost库实现，具体如下。服务端代码：复制代码代码
系统 2019-09-27 17:51:43 1845
Socket是网络应用的基础。而Python使得网络socket编程入门变得超级简单。在这篇简介里面我们将创建一个简单服务器，用于接受和相应客户端程序的请求。由于本人最近对LinuxContainers有点痴迷，因此我们也将在服务器中实现2个容器。同时在容器中我们在几秒钟内就能创建其他一些主机，这就能非常简单的模拟出一个网络。创建容器我使用的是Ubuntu14.04.然后用root用户运行下面的命令就可以创建好2个容器了。复制代码代码如下:lxc-crea
系统 2019-09-27 17:51:21 1845
本文实例为大家分享了python查找重复图片并删除的具体代码，供大家参考，具体内容如下和网络爬虫配套的，也可单独使用，从网上爬下来的图片重复太多，代码支持识别不同尺寸大小一致的图片，并把重复的图片删除，只保留第一份。#-*-coding:utf-8-*-importcv2importnumpyasnpimportos,sys,typesdefcmpandremove2(path):dirs=os.listdir(path)dirs.sort()iflen(
系统 2019-09-27 17:51:12 1845
继上一篇文章使用xlrd来读Excel之后，这一篇文章就来介绍下，如何来写Excel，写Excel我们需要使用第三方库xlwt，和xlrd一样，xlrd表示readxls，xlwt表示writexls，同样目前版本只支持97-03版本的Excel。xlwt下载：xlwt0.7.4安装xlwt安装方式一样是pythonsetup.pyinstall就可以了，或者直接解压到你的工程目录中。API介绍获取一个xls实例复制代码代码如下:xls=ExcelWrit
系统 2019-09-27 17:51:03 1845
zip在python3中，处于优化内存的考虑，只能访问一次！！！(python2中可以访问多次)，童鞋们一定要注意，*coding:utf-8*zip()函数的定义：从参数中的多个迭代器取元素组合成一个新的迭代器；返回：返回一个zip对象，其内部元素为元组；可以转化为列表或元组；传入参数：元组、列表、字典等迭代器。当zip()函数中只有一个参数时，zip(iterable)从iterable中依次取一个元组，组成一个元组。在python3.0中有个大坑，z
系统 2019-09-27 17:50:58 1845
fromhttps://blog.csdn.net/mighty13/article/details/78147357Python处理时间和时间戳的内置模块就有time，和datetime两个，本文先说time模块。关于时间戳的几个概念时间戳，根据1970年1月1日00:00:00开始按秒计算的偏移量。时间元组（struct_time），包含9个元素。time.struct_time(tm_year=2017,tm_mon=10,tm_mday=1,tm_
系统 2019-09-27 17:50:56 1845
