在之前学习的RDD和DataFrame数据集主要处理的是离线数据，随着时代发展进步，我们会发现越来越多数据是在源源不断发回到数据中心，同时需要立刻响应给用户，这样的情况我们就会用到实时处理，常用的场景有实时显示某商场一小时人流密度、实时显示当天火车站人口总数等等。接下来从实时数据源说起，实时数据源主要有：FileSourceSocketSourceFlumeSourceKafkaSourceFileSource指的是文件作为数据来源，常用的有本地文件fil
系统 2019-09-27 17:52:32 2153
python是一门灵活的语言，也可以说python是一门胶水语言，顾名思义，就是其可以导入各类的包，python的包可以说是所有语言中最多的。当然导入包大部分是为了更快捷，更方便，效率更高。对于刚入门的python爱好者来说最初接触的应该是import直接导入包的方式，例如importtime，就是导入了python的time包，这个包中的方法可以处理大部分我们项目中遇到的关于时间的问题。下面我会详细介绍几种导入包的方式(在开发过程中绝对够用)以及怎样把其
系统 2019-09-27 17:52:19 2153
看python社区大妈组织的内容里边有一篇讲python内存优化的，用到了__slots__。然后查了一下，总结一下。感觉非常有用python类在进行实例化的时候，会有一个__dict__属性，里边有可用的实例属性名和值。声明__slots__后，实例就只会含有__slots__里有的属性名。#coding:utf-8classA(object):x=1def__init__(self):self.y=2a=A()printa.__dict__print(
系统 2019-09-27 17:52:11 2153
程序说明：本程序实现将开发程序服务器中的打包文件通过该脚本上传到正式生产环境（注：生产环境和开发环境不互通）程序基本思路：将开发环境中的程序包拷贝到本地堡垒机将程序包进行解压获得解压后的文件通同步到生产服务器上主要知识点：python库os.system()的基本使用利用python调用xshell命令程序使用方法：pythonaddline.py开发主机ip程序包目标主机ip上传目录上传编号如：pythonaddline.py240/home/shaoj
系统 2019-09-27 17:52:05 2153
Sklearn简介Scikit-learn(sklearn)是机器学习中常用的第三方模块，对常用的机器学习方法进行了封装，包括回归(Regression)、降维(DimensionalityReduction)、分类(Classfication)、聚类(Clustering)等方法。当我们面临机器学习问题时，便可根据下图来选择相应的方法。Sklearn具有以下特点：简单高效的数据挖掘和数据分析工具让每个人能够在复杂环境中重复使用建立NumPy、Scipy、
系统 2019-09-27 17:51:55 2153
一、新建云端notebook打开https://colab.research.google.com网站，我们就能看到浏览器中出现了新建pythonnotebook二、分享代码有时候同学之间或者同事之间分享项目代码，过去都是使用邮箱，繁琐费事。现在一键分享，这里我是给自己的邮箱里转发然后大邓打开自己的邮箱，wow，6666三、团队成员可以评论代码比如在一个团队中，有的人写错了代码，我们可以在远隔十万八千的另外一台电脑上做评论，提示错误。四、链接到stacko
系统 2019-09-27 17:51:44 2153
json是一种轻量级的数据交换格式，也可以说是一种配置文件的格式这种格式的文件是我们在数据处理经常会遇到的python提供内置的模块json，只需要在使用前导入即可你可以通过帮助函数查看json的帮助文档json常用的方法有load、loads、dump以及dumps，这个都属于python初级，我不做过多解释json可以结合数据库一起使用，在这以后要处理大量数据时非常有用下面我们正式来利用数据挖掘对json文件进行处理现在很多网站都运用了Ajax，所以一
系统 2019-09-27 17:51:28 2153
看懂巴菲特推荐的指数基金定投，Python验证看懂巴菲特推荐的指数基金定投，Python验证超越股神，你这辈子是不可能了的啦，但是超越身边的普通人，那是足够了，只要你坚持定投，坚持定投正确的标的，直到成功为止，建立好市场的心里站，不要在股市中浮浮沉沉。我在大学期间，我就开始学习理财投资，直到我出大学毕业，踏入社会，我领到第一份工资，我觉得我要开始寻找我的定投标的了，我可以推荐你一款非常好用的股票软件，同花顺，这是我当初学习股票得来的。最近身边的朋友都陆续走
系统 2019-09-27 17:50:08 2153
打开文件open函数返回一个文件对象,基本语法:●file_object=open(file_name,access_mode='r'[,buffering=-1])file_name是包含要打开的文件名字的字符串,它可以是相对路径或者绝对路径.●可选变量access_mode也是一个字符串,代表文件打开的模式.通常,文件使用模式‘r',‘w',或是‘a'模式来打开,分别代表读取,写入和追加.●另外一个可选参数buffering用于指示访问文件所采用的缓冲
系统 2019-09-27 17:50:07 2153
一、添加epel源yuminstallepel-release二、安装Python3.4,装完再升级吧yuminstallpython34三、安装pip3yuminstallpython34-setuptoolseasy_install-3.4pip之后就可以使用pip3了，如：pip3installnumpy转载至：https://blog.csdn.net/E770679957/article/details/73718870
系统 2019-09-27 17:50:01 2153
