Spark编程环境Spark可以独立安装使用，也可以和Hadoop一起安装使用。在安装Spark之前，首先确保你的电脑上已经安装了Java8或者更高的版本。Spark安装访问Spark下载页面，并选择最新版本的Spark直接下载，当前的最新版本是2.4.2。下载好之后需要解压缩到安装文件夹中，看自己的喜好，我们是安装到了/opt目录下。tar-xzfspark-2.4.2-bin-hadoop2.7.tgzmvspark-2.4.2-bin-hadoop2
系统 2019-09-27 17:52:49 2123
Python适配器模式，代码，思考等#-*-coding:utf-8-*-#author：baoshanclassComputer:def__init__(self,name):self.name=namedef__str__(self):return'the{}computer'.format(self.name)defexecute(self):return'executesaprogram'classSynthesizer:def__init__(s
系统 2019-09-27 17:52:07 2123
PySnooper在GitHub上自嘲是一个“乞丐版”调试工具（poorman'sdebugger）。一般情况下，在编写Python代码时，如果想弄清楚为什么Python代码没有按照预期执行、哪些代码在运行哪些没在运行、局部变量又是什么，我们会使用包含断点和观察模式等功能的调试器，或者直接使用print语句打印出来。但上面的方法都比较麻烦，例如使用调试器需要进行繁琐的设置，使用print打印也要很仔细。与它们相比，使用PySnooper只需为要调试的函数添
系统 2019-09-27 17:50:04 2123
用python和numpy处理数据次数比较多,写了几个小函数,可以方便地读写数据:#-*-coding:utf-8-*-#----------------------------------------------------------------------#FileName:gettxtdata.py#功能:读取字符串和文件中的数值数据(浮点数)#主要提供类似matlab中的dlmread和dlmwrite函数#同时提供loadtxtdata和sav
系统 2019-09-27 17:47:34 2123
前言在浏览博客时，偶然看到了用python将汉字转为拼音的第三方包，但是在实现的过程中发现一些参数已经更新，现在将两种方法记录一下。xpinyin在一些博客中看到，如果要转化成带音节的拼音，需要传递参数，‘show_tone_marks=True'，但我在实际使用时发现，已经没有这个参数了，变成了tone_marks，其它的参数和使用方法，一看就明白了，写的很清楚。看下源码：classPinyin(object):"""translatechineseha
系统 2019-09-27 17:46:05 2123
学Python，想必大家都是从爬虫开始的吧。毕竟网上类似的资源很丰富，开源项目也非常多。Python学习网络爬虫主要分3个大的版块：抓取，分析，存储当我们在浏览器中输入一个url后回车，后台会发生什么？简单来说这段过程发生了以下四个步骤：查找域名对应的IP地址。向IP对应的服务器发送请求。服务器响应请求，发回网页内容。浏览器解析网页内容。网络爬虫要做的，简单来说，就是实现浏览器的功能。通过指定url，直接返回给用户所需要的数据，而不需要一步步人工去操纵浏览
系统 2019-09-27 17:37:39 2123
背景介绍从学sklearn时，除了算法的坎要过，还得学习matplotlib可视化，对我的实践应用而言，可视化更重要一些，然而matplotlib的易用性和美观性确实不敢恭维。陆续使用过plotly、seaborn，最终定格在了Bokeh，因为它可以与Flask完美的结合，数据看板的开发难度降低了很多。前阵子看到这个库可以较为便捷的实现数据探索，今天得空打算学习一下。原本访问的是英文文档，结果发现已经有人在做汉化，虽然看起来也像是谷歌翻译的，本着拿来主义，
系统 2019-09-27 17:52:35 2122
如何在PYTHON里面运用多继承classFather:defhobby(self):print("lovetoplayvideogame.")classMother:defcook(self):print("lovetocookanything.")#比如说有两个类，如果想要一个子类同时继承这两个类，应该怎么操作呢。classFather:defhobby(self):print("lovetoplayvideogame.")classMother:de
系统 2019-09-27 17:51:51 2122
Python项目中很多时候会需要将时间在Datetime格式和TimeStamp格式之间转化，又或者你需要将UTC时间转化为本地时间，本文总结了这几个时间之间转化的函数，供大家参考。一、Datetime转化为TimeStampdefdatetime2timestamp(dt,convert_to_utc=False):'''ConvertsadatetimeobjecttoUNIXtimestampinmilliseconds.'''ifisinstanc
系统 2019-09-27 17:50:37 2122
如果你不希望从头开始创造一种数据格式来存放数据，JSON是一个很好的选择。如果你对Python有所了解，就更加事半功倍了。下面就来介绍一下如何使用Python处理JSON数据。JSON的全称是JavaScript对象表示法JavaScriptObjectNotation。这是一种以键值对的形式存储数据的格式，并且很容易解析，因而成为了一种被广泛使用的数据格式。另外，不要因为JSON名称而望文生义，JSON并不仅仅在JavaScript中使用，它也可以在其它
系统 2019-09-27 17:47:24 2122
