Spark编程环境Spark可以独立安装使用，也可以和Hadoop一起安装使用。在安装Spark之前，首先确保你的电脑上已经安装了Java8或者更高的版本。Spark安装访问Spark下载页面，并选择最新版本的Spark直接下载，当前的最新版本是2.4.2。下载好之后需要解压缩到安装文件夹中，看自己的喜好，我们是安装到了/opt目录下。tar-xzfspark-2.4.2-bin-hadoop2.7.tgzmvspark-2.4.2-bin-hadoop2
系统 2019-09-27 17:52:49 1830
Python中的列表基于PyListObject实现，列表支持元素的插入、删除、更新操作，因此PyListObject是一个变长对象（列表的长度随着元素的增加和删除而变长和变短），同时它还是一个可变对象（列表中的元素根据列表的操作而发生变化，内存大小动态的变化），PyListObject的定义：typedefstruct{#列表对象引用计数intob_refcnt;#列表类型对象struct_typeobject*ob_type;#列表元素的长度intob
系统 2019-09-27 17:52:11 1830
#!/usr/bin/envpython#coding=utf-8#------------------------------------------------------#Name:Apache日志分析脚本#Purpose:此脚本只用来分析Apache的访问日志#Version:2.0#Author:LEO#Created:2013-4-26#Modified:2013-5-4#Copyright:(c)LEO2013#---------------
系统 2019-09-27 17:52:04 1830
通过纯Python完成股票回测框架的搭建。什么是回测框架?无论是传统股票交易还是量化交易，无法避免的一个问题是我们需要检验自己的交易策略是否可行，而最简单的方式就是利用历史数据检验交易策略，而回测框架就是提供这样的一个平台让交易策略在历史数据中不断交易，最终生成最终结果，通过查看结果的策略收益，年化收益，最大回测等用以评估交易策略的可行性。代码地址在最后。本项目并不是一个已完善的项目,还在不断的完善。回测框架回测框架应该至少包含两个部分,回测类,交易类.回
系统 2019-09-27 17:51:37 1830
自我学习记录：如有问题，请帮助指正，勿喷。条件判断：用if语句来实现，而且if语句还捆绑了一个else来做判断，字面意思就是例外情况。#比如，输入身高，根据不同的内容，用if语句来实现。#很抱歉我在终端python环境下，没有找到怎么输入判断语句。#所以用的pycharm软件里面查看到的结果。#代码：height=float(input('请告诉我你的身高(单位M)\n'))ifheight>0:#if语句后面一定要跟冒号':'不然会报错的print('你
系统 2019-09-27 17:48:27 1830
本文根据ApacheFlink系列直播课程整理而成，由ApacheFlinkPMC，阿里巴巴高级技术专家孙金城分享。重点为大家介绍FlinkPythonAPI的现状及未来规划，主要内容包括：ApacheFlinkPythonAPI的前世今生和未来发展；ApacheFlinkPythonAPI架构及开发环境搭建；ApacheFlinkPythonAPI核心算子介绍及应用。一.ApacheFlinkPythonAPI的前世今生和未来发展1.Flink为什么选择
系统 2019-09-27 17:48:03 1830
python调用短信猫控件实现发短信功能实例代码如下所示：#!/usr/bin/envpython#coding=gbkimportsysimportwin32com.clientocxname='ShouYan_SmsGate61.Smsgate'axocx=win32com.client.Dispatch(ocxname)axocx.CommPort=8#设置COM端口号axocx.SmsService='+8613800100500'#设置短信服务号
系统 2019-09-27 17:47:54 1830
在使用Python编写面向对象的代码时，我们会常常使用“继承”这种开发方式。例如下面这一段代码：classInfo:def__init__(self):passdefcalc_age(self):print('我是父类的方法')classPeopleInfo(Info):def__init__(self):super().__init__()defcalc_age(self):print(123456)如果你使用PeopleInfo初始化一个对象，然后调用
系统 2019-09-27 17:46:07 1830
OK,首先写一个pythonsocket的server段,对开放三个端口:10000,10001,10002.krondo的例子中是每个server绑定一个端口,测试的时候需要分别开3个shell,分别运行.这太麻烦了,就分别用三个Thread来运行这些services.importoptparseimportosimportsocketimporttimefromthreadingimportThreadimportStringIOtxt='''1111
系统 2019-09-27 17:38:44 1830
你知道吗？实际上Python早在20世纪90年代初就已经诞生，可是火爆时间却并不长，就小编本人来说，也是前几年才了解到它。据统计,目前Python开发人员的薪资待遇为10K以上,这样的诱惑很难让人拒绝，所以这几年使得许多人纷纷学习Python。Python是一种解释型脚本语言，注重可读性和效率的语言,尤其是相较于Java,PHP以及C++这样的语言,它的这两个优势让其在开发者中大受欢迎,同时在运维领域也被大量运用到自动化运维场景中。如今使用到Python的
系统 2019-09-27 17:38:27 1830
最近在自学Python语言，看到向列表增加更多数据时被append（），extend（），insert（）方法绕晕了。append和extend都只需要一个参数，并且自动添加到数组末尾,如果需要添加多个，可用数组嵌套，但是append是将嵌套后的数组作为一个对象，extend是将嵌套的数组内容作为多个对象，添加到原数组中作为编程0基础的小白，觉得有必要自己再梳理一遍：1.append（）方法是指在列表末尾增加一个数据项。例如：在students列表末尾增加
系统 2019-09-27 17:37:54 1830
模块安装：数据操作用到的模块pymysql，需要通过pipinstallpymysql进行安装。redis操作用的模块是redis，需要通过pipinstallredis进行安装。检验是否安装成功：进入到Python命令行模式，输入importpymysql、importredis，无报错代表成功；mysql操作方法如下：查询数据：fetchone、fetchmany(n)、fetchall()importpymysql#建立mysql连接,ip、端口、用
系统 2019-09-27 17:54:49 1829
由于之前对于爬取下来的数据都是存入MongoDB中，想起来还没有尝试存入MySQL，于是将一篇简单的文章爬取下来，存入MySQL试试这里用到的python模块是pymysql，因为MySQLdb之前已经停止维护首先在cmd中连接MySQL并且创建一个数据库json在图形化界面workbench中可以看到接下来就要在pycharm中写代码了，在pycharm中导入pymysql后即可#建立python与MySQL之间的连接mysql=pymysql.conn
系统 2019-09-27 17:53:26 1829
简单使用最开始，我们用最短的代码体验一下logging的基本功能。importlogginglogger=logging.getLogger()logging.basicConfig()logger.setLevel('DEBUG')logger.debug('logsomething')#输出out>>DEBG:root:logsomething第一步，通过logging.getLogger函数，获取一个loger对象，但这个对象暂时是无法使用的。第二步
系统 2019-09-27 17:52:26 1829
通常，大多数应用程序通过保持HTML简单来解决大多数浏览器问题�D或者说，根据最低共同特性来编写。然而，即便如此，也仍然存在字体和布局的问题，发行新浏览器和升级现有浏览器时，也免不了测试应用程序的痛苦。替代方案�D只支持一种浏览器�D通常不是一种用户友好的解决方案。明显的解决方案是在应用程序中嵌入自己的表现HTML的窗口构件。当然，从头开始编写这样的窗口构件工作量很大，因此，求助于预先封装的解决方案好象是合理的。商界有许多选择及几个开放源码软件包。本文将向
系统 2019-09-27 17:49:37 1829
