在之前学习的RDD和DataFrame数据集主要处理的是离线数据，随着时代发展进步，我们会发现越来越多数据是在源源不断发回到数据中心，同时需要立刻响应给用户，这样的情况我们就会用到实时处理，常用的场景有实时显示某商场一小时人流密度、实时显示当天火车站人口总数等等。接下来从实时数据源说起，实时数据源主要有：FileSourceSocketSourceFlumeSourceKafkaSourceFileSource指的是文件作为数据来源，常用的有本地文件fil
系统 2019-09-27 17:52:32 2017
本文实例讲述了Python数据分析模块pandas用法。分享给大家供大家参考，具体如下：一介绍pandas（PythonDataAnalysisLibrary）是基于numpy的数据分析模块，提供了大量标准数据模型和高效操作大型数据集所需要的工具，可以说pandas是使得Python能够成为高效且强大的数据分析环境的重要因素之一。pandas主要提供了3种数据结构：1）Series，带标签的一维数组。2）DataFrame，带标签且大小可变的二维表格结构。
系统 2019-09-27 17:52:24 2017
python中eval函数的用法十分的灵活，这里主要介绍一下它的原理和一些使用的场合。下面是从python的官方文档中的解释：Theargumentsareastringandoptionalglobalsandlocals.Ifprovided,globalsmustbeadictionary.Ifprovided,localscanbeanymappingobject.Theexpressionargumentisparsedandevaluateda
系统 2019-09-27 17:52:12 2017
Sklearn简介Scikit-learn(sklearn)是机器学习中常用的第三方模块，对常用的机器学习方法进行了封装，包括回归(Regression)、降维(DimensionalityReduction)、分类(Classfication)、聚类(Clustering)等方法。当我们面临机器学习问题时，便可根据下图来选择相应的方法。Sklearn具有以下特点：简单高效的数据挖掘和数据分析工具让每个人能够在复杂环境中重复使用建立NumPy、Scipy、
系统 2019-09-27 17:51:55 2017
目录1.分支结构1.1初步介绍1.2使用案例1.3练习2.循环结构1.1初步介绍1.2使用案例1.分支结构1.1初步介绍至今，我们所写的Python代码都是顺序执行，但是有时候在代码中是需要进行逻辑判断的，比如用户输入用户名和密码，输入正确则验证通过，否则即验证失败。这个时候就会产生两个分支，而且两个分支只会有一条分支会走下去。当然，还有很多类似的场景，我们将这种结果称为"分支结构"或“选择结构”。语法格式：ifxxx1:事情1elifxxx2:事情2el
系统 2019-09-27 17:51:46 2017
2016年1月，机缘巧合下我出版了《Selenium2自动化测试实战--基于python语言》这本书，当时写书的原因是，大部分讲Selenium的书并不讲编程语言和单元测试框，如果想在项目中使用Selenium，几乎离不开编程语言和单元测试框架，难道你只用SeleniumIDE去录制/回放脚本么？没想到受到许多测试人员的欢迎，我会时常去看网上的书评。大多是感谢的留言，书的销量也印证了这一点，当然，也有批评和建议。在此，表示感谢。随着，我对Selenium自
系统 2019-09-27 17:51:40 2017
pythonredis连接有序集合去重的代码如下所述：#-*-coding:utf-8-*-importredisfromconstantimportredis_ip,redis_db,redis_pw,redis_zset_namepool=redis.ConnectionPool(host=redis_ip,db=redis_db,password=redis_pw)#pool=redis.ConnectionPool(db=6,password=re
系统 2019-09-27 17:51:00 2017
pymysqldemo代码样例，暂时先写查询的，增删改后续再添加；通用部分无论是增删改查，都需要先建立数据库连接，创建游标importpymysql#建立一个mysql的conn，返回Connetion对象conn=pymysql.connect(host='localhost',user='root',passwd='p@ssWD',port='3306',db='test')#新建一个游标，默认返还元组，可选DictCursor让查询结果返还dict#
系统 2019-09-27 17:50:47 2017
在Python中通过GET来获取页面的COOKIE是非常简单的事情，下面的代码实例演示了如何利用Python获取COOKIE内容#!/usr/bin/envpython#coding=utf-8#-*-coding:utf-8-*-#encoding=utf-8importurllibimporturllib2importhttplibcj=''header={'Host':'218.94.26.135','Accept-Language':'zh-CN'
系统 2019-09-27 17:50:46 2017
requests库的用法：requests是python实现的简单易用的HTTP库因为是第三方库，所以使用前需要cmd安装pip×××tallrequests安装完成后import一下，正常则说明可以开始使用了基本用法：importrequestsformbs4importBeautifulSoupresponse=requests.get('http://www.baidu.com')print(response.status_code)#打印状态码pr
系统 2019-09-27 17:50:42 2017
