搜索到与相关的文章
Python

CDH修改PySpark默认的Python版本

前言PySpark一直使用的是Linux默认的Python2.7.5版本,感觉超级不爽,于是想升个级,可怎么升啊?于是又开始了万年的Google操作步骤安装Python3.X参考配置全局变量sudovim/etc/profileexportPATH=/usr/bin/python3:$PATHsource/etc/profile打开CDHWeb配置spark-env.sh文件如下:即添加:exportPYSPARK_PYTHON=/usr/bin/pyth

系统 2019-09-27 17:56:03 2117

Python

Python自用工具包PyTls

我们搞了个python的工具包PyTls。做这件事的初衷是发生了一个星期要用python同时开发3个项目的情况,我发现了两个现象:1.有很多定制化的需求是极度高频反复重写的;2.有很多功能之前写过,可能因为稍许复杂又忘了,再用的时候又要去Google。所以,拉着同组的一个实习生,一起维护了PyTls的这个项目,为的就是那句"lifeisshort,weneedpython"。所有的详细的测试demo都可以在我的git找到,PyTls的测试demos希望可以

系统 2019-09-27 17:54:40 2117

Python

Python 之父撰文回忆:为什么要创造 pgen 解析器?

image花下猫语:近日,Python之父在Medium上开通了博客,并发布了一篇关于PEG解析器的文章(参见我翻的全文译文)。据我所知,他有自己的博客,为什么还会跑去Medium上写文呢?好奇之下,我就打开了他的老博客。最后一篇文章写于2018年5月,好巧不巧,写的竟是pgen解析器,正是他在新文中无情地吐槽的、说将要替换掉的pgen。在这篇旧文里,Guido回忆了他创造pgen时的一些考量,在当时看来,创造一个新的解析器无疑是明智的,只不过时过境迁,现

系统 2019-09-27 17:54:17 2117

Python

Python中的is和==比较两个对象的两种方法

Python中的is和==比较两个对象的两种方法在Python中有两种方式比较两个对象是否相等,分别是is和==,两者之间是不同的==比较的是值(如同java中的equals方法)is比较的是引用(可以看作比较内存地址,类似于java中的==)对于:>>>n=1>>>nis1True>>>b='1'>>>bis1False>>>n==bFalse由于1和'1'不管在值上面还是在引用上面都不同,所以结果都为false对于:>>>n=1>>>nis1True这

系统 2019-09-27 17:53:48 2117

Python

Linux部署python爬虫脚本,并设置定时任务的方法

去年因项目需要,用python写了个爬虫。因爬到的数据需要存到生产环境的PG数据库。所以需要将脚本部署到CentOS服务器,并设置定时任务,自动启动脚本。实施步骤如下:1.安装pip(操作系统自带了python2.6可以直接用,但是没有pip)#下载pip安装包wget"https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c

系统 2019-09-27 17:53:15 2117

Python

Python识别璇玑图中诗的数量

Python识别璇玑图中诗的数量一、璇玑图简介璇玑图的读法有很多,这里我使用七七棋盘格的读法,在璇玑图中分离出一个七七棋盘格,如下表吏官同流污合玩痞悍蒙骗造假蛋鸡宴请客友朋远戚偏正反拨乱冤隶奸贪险冠眷阉佃味道人味爱公荒投背渣辣宠猪田臭终灭麻姬汗地相诚明香美血天烂俭贤馋甜粘寒妓贱贫苦断礼谦妻仙女桃花妹嫣姐懒惰猪狗低贱妾酸流泪目满惨婢惨妍淡廉奸艳难败羞雅美猴心家花月和勤狐嘴破佛花温耕鬼手颜心闭娴洁神眼抢虔腼恬俭欢馋欢姊俭食衣胖兄短弟闲柳细云风谦爷叛雷鸣闪电悍爹

系统 2019-09-27 17:52:55 2117

Python

Python学习之认识函数

函数定义函数是一段实现特定功能的代码,定义一个函数名称,通过这个函数名称可以多次调用该函数函数的定义方法以及特点函数名:一般说只要合法标识符就行,但为了代码的通读性,约定全部小写字母,多个字母之间用下划线形参列表:用于定义函数可接收的参数,多个参数用逗号隔开,在函数中定义了参数,在调用的时候必须传参函数关键字def函数可以定义零个或者多个参数使用return结束函数。默认返回None。函数帮助文档定义函数帮助文档:只需要一段字符串放在函数声明之后,函数体之

系统 2019-09-27 17:52:49 2117

Python

python 判断字符串中是否含有汉字或非汉字的实例

model中compile值可以根据需要更改,满足不同的检测需求#判断一段文本中是否包含简体中文importrezhmodel=re.compile(u'[\u4e00-\u9fa5]')#检查中文#zhmodel=re.compile(u'[^\u4e00-\u9fa5]')#检查非中文contents=u'(2014)深南法民二初字第280号'match=zhmodel.search(contents)ifmatch:print(contents)el

系统 2019-09-27 17:52:32 2117

Python

python3.x上post发送json数据

一.摘要做接口自动化测试时,常常需要使用python发送一些json内容的接口报文,如果使用urlencode对内容进行编码解析并发送请求,会发现服务器返回了200,OK的状态,但响应内容不可读(像是一堆加密报文)。定位问题时发现抓包发现发送报文的内容与我们发送的json内容不符(会去掉”{“与”}“等内容),所以重新采用了json封装后,问题解决。二.解决方法1.先导入json模块,采用json.dumps将json内容进行封装eg:importjson

系统 2019-09-27 17:52:02 2117