搜索到与相关的文章
Python

Spark学习实例(Python):输入源实时处理 Input Sources

在之前学习的RDD和DataFrame数据集主要处理的是离线数据,随着时代发展进步,我们会发现越来越多数据是在源源不断发回到数据中心,同时需要立刻响应给用户,这样的情况我们就会用到实时处理,常用的场景有实时显示某商场一小时人流密度、实时显示当天火车站人口总数等等。接下来从实时数据源说起,实时数据源主要有:FileSourceSocketSourceFlumeSourceKafkaSourceFileSource指的是文件作为数据来源,常用的有本地文件fil

系统 2019-09-27 17:52:32 2139

Python

python实现自动化上线脚本的示例

程序说明:本程序实现将开发程序服务器中的打包文件通过该脚本上传到正式生产环境(注:生产环境和开发环境不互通)程序基本思路:将开发环境中的程序包拷贝到本地堡垒机将程序包进行解压获得解压后的文件通同步到生产服务器上主要知识点:python库os.system()的基本使用利用python调用xshell命令程序使用方法:pythonaddline.py开发主机ip程序包目标主机ip上传目录上传编号如:pythonaddline.py240/home/shaoj

系统 2019-09-27 17:52:05 2139

Python

Python数据类型详解——集合

Python数据类型详解——集合一、定义集合跟列表有点像,也是可以存一堆数据的,不过它有几个独特的特点:1、集合里的元素不可变,即不能再集合里存储列表(list)、字典(dict)。字符串、数字、元组等不可变类型可以存储再集合中。2、天生去重,即在集合里不会出现重复元素,就算你故意写入重复元素,集合也会自动去掉重复的,只保留一个。3、无序,集合中的元素没有先后之分。二、语法1、创建集合a={2,321,'Kwan',1,'小明','Kwan',321}2、

系统 2019-09-27 17:50:08 2139

Python

python存入csv

如题,后续继续优化importcsv#构建表头headers=["id","user_name","age","country"]#内容列表rows=[("001","dana",18,"china"),("002","tom",22,"arimecan"),("003","jack",45,"hk")]#新建csv文档,默认是自动换行的,所以要newline=""withopen("csv01.csv","w",newline='')asf:f_csv=

系统 2019-09-27 17:49:07 2139

Python

python while 和 if的用法

#money=int(input('你有多少钱?'))#ifmoney>50:#print('打车回家')#b=input('到家了吗?')#ifb=='到家了':#print('我到家了阿')#else:#pass#please=input('你是男的还是女的?')#ifplease=='男的'orplease=='男':#print('你走吧')#elifplease=='美女':#age=int(input("今年多大拉?"))#ifint(age)

系统 2019-09-27 17:48:20 2139

Python

python 中的列表生成式、生成器表达式、模块导入

5.16列表生成式l=[]foriinrange(100):l.append('egg%s'%i)print(l)​l=['egg%s'%iforiinrange(100)]l=['egg%s'%iforiinrange(1000)ifi>10]print(l)5.17列表生成式与生成器表达式的应用names=['egon','alex_sb','wupeiqi','yuanhao','lxx']res=map(lambdax:x.upper(),name

系统 2019-09-27 17:48:05 2139

Python

现代算法可视化(一)、python实现生命游戏(元胞自动机)

效果展示规则介绍基于二维元胞自动机的生命游戏可视化实现规则:蓝色方块代表生命有颜色的方块代表生命,无颜色的方块代表死亡一个细胞周围有八个细胞,对于一个活细胞来说,如果它周围的八个细胞中:如果只有一个或没有一个是活的,那这个细胞就会死亡如果其中两个或者三个细胞是活的,那这个细胞就能维持生命如果超过3个细胞是活着的,那这个细胞就会因为过于拥挤而死亡对于一个死细胞来说,如果这个细胞周围如果有三个细胞存活,该将获得新生。附:所有规则都可以修改,种群初始密度也可以修

系统 2019-09-27 17:47:53 2139

Python

python使用pyhook监控键盘并实现切换歌曲的功能

自己在玩dota的时候有时候喜欢边玩游戏边听音乐,但是切换下一曲的时候必须得切出游戏,而切换音乐的热键ctrl+alt+方向键在游戏的时候没有用,好事蛋疼,今天试试使用python来实现键盘监控切换下一曲,下面贴出代码importpythoncom,pyHookimportwin32gui,win32api,win32conLcontrol_press=FalseLmenu_press=FalseLeft_press=FalsedefOnKeyboardE

系统 2019-09-27 17:47:49 2139

Python

Python基础之函数用法实例详解

本文以实例形式较为详细的讲述了Python函数的用法,对于初学Python的朋友有不错的借鉴价值。分享给大家供大家参考之用。具体分析如下:通常来说,Python的函数是由一个新的语句编写,即def,def是可执行的语句--函数并不存在,直到Python运行了def后才存在。函数是通过赋值传递的,参数通过赋值传递给函数def语句将创建一个函数对象并将其赋值给一个变量名,def语句的一般格式如下:def(arg1,arg2,arg3,……,argN):def语

系统 2019-09-27 17:47:44 2139

Python

python实现的一个火车票转让信息采集器

好吧,我承认我是对晚上看到一张合适的票转让但打过电话去说已经被搞走了这件事情感到蛋疼。直接上文件吧。#coding:utf-8'''春运查询火车票转让信息Author:piglei2007@gmail.comDate:2011.01.25'''importreimportosimporttimeimporturlparseimportdatetimeimporttracebackimporturllib2importsocketsocket.setdefa

系统 2019-09-27 17:47:42 2139