talkischeap,showmethecode.importloggingimportlogging.handlerslogger=logging.getLogger("logger")handler1=logging.StreamHandler()#handler2=logging.FileHandler(filename="test.log",encoding="utf-8")#每隔1000Byte划分一个日志文件,备份文件为3个#handler2
系统 2019-09-27 17:54:58 2176
通常在使用Spark算子函数,比如使用map()或者reduce函数我们向函数传入条件时,函数内部可以使用驱动程序中定义的变量,但是这样会使集群中所有任务都会得到变量新的副本,这些副本的更新不会传播回驱动程序,导致读写共享变量效率低下或者内存溢出,为了解决这个问题Spark提供了两种共享变量类型:广播变量和累加器广播变量:用来高效分发较大对象,只能在Driver定义,不能在Executor端定义,同时RDD不存储数据所以不能广播出去累加器:用来对信息进行聚
系统 2019-09-27 17:52:33 2176
我们在进行编程学习的时候,不管学习什么编程语言都会用到字符串,对于字符串的一些操作,我们很有必要学的精通一点。我们在操作字符串的时候用到split用法,主要用来将字符串根据某些特殊要求分割成为不同的几部分,如图所示,我们使用点号将字符串分成三部分分别提取出来。replace用法,主要是用来使用一些字符代替原来字符串中的一些字符,如图所示,我们将需要被替代的字符和要用到的衣服都写在括号中完成替代操作。strip可以用来去掉字符串前后面指定的一些字符,可以将字
系统 2019-09-27 17:49:13 2176
Python入门之内置模块--time模块1、time模块time翻译过来就是时间,这个模块是与时间相关的模块importtime#内置模块--标准库(1)time.time()时间戳(时间戳表示的是格林尼治时间是从1970年1月1日00:00:00开始按秒计算的偏移量)print(time.time())#时间戳浮点数秒(2)time.sleep()睡眠time.sleep(3)#秒(3)time.localtime()将时间戳转换成结构化时间prin
系统 2019-09-27 17:48:58 2176
参考来源:https://www.toutiao.com/a6644771438534328836/当数据集的特征过多时,容易产生过拟合,可以用随机森林来在训练之后可以产生一个各个特征重要性的数据集,利用这个数据集,确定一个阈值,选出来对模型训练帮助最大的一些特征,筛选出重要变量后可以再训练模型;本文所用数据集是从kaggle网站上下载的lendclub数据,通过随机森林筛选出对预测是否逾期的重要性变量:#首先导入数据,查看数据集的基本情况:df=pd.r
系统 2019-09-27 17:48:56 2176
最近做了一个项目,将从微信下载的音频文件(默认为.amr格式)转化为mp3格式(否则前端播放将会遇到困难)上传到云端。经过一番研究,最终决定采用Python的ffmpy包。首先是ffmpy的文档:http://ffmpy.readthedocs.io/en/latest/index.html安装只需执行pipinstallffmpy注意,ffmpy只是命令行工具FFmpeg的一个包装,若要成功执行任务,还需要安装FFmpeg在Ubuntu上:sudoadd
系统 2019-09-27 17:48:38 2176
基础使用1.创建一个document文档对象fromdocximportDocumentdocument=Document()2.向文档中添加段落添加一段话:paragraph=document.add_paragraph('Loremipsumdolorsitamet.')(调用后会返回一个Paragraphs段落对象的引用)可将上面返回的对象作为一个游标,在已有段落之前加入:prior_paragraph=paragraph.insert_paragr
系统 2019-09-27 17:46:12 2176
一、collections模块1.函数namedtuple(1)作用:tuple类型,是一个可命名的tuple(2)格式:collections(列表名称,列表)(3)返回值:一个含有列表的类(4)例子:importcollections#help(collections.namedtuple)Point=collections.namedtuple("Point",['x','y'])p=Point(15,45)print(p.x+p.y)print
系统 2019-09-27 17:45:52 2176
前言因为工作需要有时候要画雷达图,但是数据好多组怎么办?不能一个一个点excel去画吧,那么可以利用python进行批量制作,得到样式如下:首先制作一个演示的excel,评分为excel随机数生成:1=INT((RAND()+4)*10)/10加入标签等得到的excel样式如下(部分,共计32行):那么接下来就是打开python写码了,本文是基于pycharm进行编写wb=load_workbook(filename=r'C:\Users\Administ
系统 2019-09-27 17:37:48 2176
VS.NET2005Beta2初体验(3)—操作SQLMobile数据库我终于安装成功VS.NET2005TS的英文版了,昨天在本机上装了一下,结果没办法发布到模拟器上去,可能是因为我的机器上装过CTP版本。今天在VPC的WindowsServer2003里安装,因为操作系统很干净,所以这次终于安装成功了。于是,我在上边开始写操作SQLMobile数据库的应用。这次我的开发环境是:VPC+WindowsServer2003,VS.NETTeamSuit英文
系统 2019-08-29 23:45:14 2176