Spark编程环境Spark可以独立安装使用，也可以和Hadoop一起安装使用。在安装Spark之前，首先确保你的电脑上已经安装了Java8或者更高的版本。Spark安装访问Spark下载页面，并选择最新版本的Spark直接下载，当前的最新版本是2.4.2。下载好之后需要解压缩到安装文件夹中，看自己的喜好，我们是安装到了/opt目录下。tar-xzfspark-2.4.2-bin-hadoop2.7.tgzmvspark-2.4.2-bin-hadoop2
系统 2019-09-27 17:52:49 1877
如果你不希望从头开始创造一种数据格式来存放数据，JSON是一个很好的选择。如果你对Python有所了解，就更加事半功倍了。下面就来介绍一下如何使用Python处理JSON数据。JSON的全称是JavaScript对象表示法JavaScriptObjectNotation。这是一种以键值对的形式存储数据的格式，并且很容易解析，因而成为了一种被广泛使用的数据格式。另外，不要因为JSON名称而望文生义，JSON并不仅仅在JavaScript中使用，它也可以在其它
系统 2019-09-27 17:47:24 1877
本文我们详细地介绍下两个模块关于生成随机序列的其他使用方法。随机数参与的应用场景大家一定不会陌生，比如密码加盐时会在原密码上关联一串随机数，蒙特卡洛算法会通过随机数采样等等。Python内置的random模块提供了生成随机数的方法，使用这些方法时需要导入random模块。importrandom下面介绍下Python内置的random模块的几种生成随机数的方法。1、random.random()随机生成0到1之间的浮点数[0.0,1.0)。注意的是返回的随
系统 2019-09-27 17:46:55 1877
前言在浏览博客时，偶然看到了用python将汉字转为拼音的第三方包，但是在实现的过程中发现一些参数已经更新，现在将两种方法记录一下。xpinyin在一些博客中看到，如果要转化成带音节的拼音，需要传递参数，‘show_tone_marks=True'，但我在实际使用时发现，已经没有这个参数了，变成了tone_marks，其它的参数和使用方法，一看就明白了，写的很清楚。看下源码：classPinyin(object):"""translatechineseha
系统 2019-09-27 17:46:05 1877
网络通用urllib-网络库(stdlib)。requests-网络库。grab�C网络库（基于pycurl）。pycurl�C网络库（绑定libcurl）。urllib3�CPythonHTTP库，安全连接池、支持文件post、可用性高。httplib2�C网络库。RoboBrowser�C一个简单的、极具Python风格的Python库，无需独立的浏览器即可浏览网页。MechanicalSoup-一个与网站自动交互Python库。mechanize-有
系统 2019-09-27 17:38:25 1877
Python安装Django本身是纯Python编写的，所以安装框架的第一步是确保你已经安装了Python。Python版本核心Django框架可以工作在2.3至2.6（包括2.3和2.6）之间的任何Python版本。Django的可选GIS（地理信息系统）支持需要Python2.4到2.6。如果你不确定要安装Python的什么版本，并且你完全拿不定主意的话,那就选2.x系列的最新版本吧。版本2.6。虽然Django在2.3至2.6版之间的任意Python
系统 2019-09-27 17:37:57 1877
最近在自学Python语言，看到向列表增加更多数据时被append（），extend（），insert（）方法绕晕了。append和extend都只需要一个参数，并且自动添加到数组末尾,如果需要添加多个，可用数组嵌套，但是append是将嵌套后的数组作为一个对象，extend是将嵌套的数组内容作为多个对象，添加到原数组中作为编程0基础的小白，觉得有必要自己再梳理一遍：1.append（）方法是指在列表末尾增加一个数据项。例如：在students列表末尾增加
系统 2019-09-27 17:37:54 1877
使用python来登录asp网站和登录其他网站差不多,只是因为asp页面在每次请求的时候都要带上viewstate,因此使用python来登录的话就多了一个步骤,获得这个页面的viewstate之后带上这个和你要post或get到该页面的请求数据就好了,下面这段程序是登录一个asp系统,然后搜索某些数据并将这些数据保存下来.#coding=utf-8importurllib2frombs4importBeautifulSoupimporturllibimp
系统 2019-09-27 17:53:06 1876
使用SimpleProtocolasyncio.BaseProtocol类是asyncio模块中协议接口(protocolinterface)的一个常见的基类。asyncio.Protocolclass继承自asyncio.BaseProtocol并为streamprotocols提供了一个接口。下面的代码演示了asyncio.Protocol接口的一个简单实现，它的行为1就像一个echoserver，同时，它还会在Python的控制台中输出一些信息。Si
系统 2019-09-27 17:50:29 1876
在继续阅读本文之前，您务必要对我们在本专栏中将要讨论的一些技术有所了解。我们要使用的技术包括：可扩展的样式表语言转换（ExtensibleStylesheetLanguageTransformations，XSLT）、XML路径语言（XMLPathLanguage，XPath）和资源描述框架（ResourceDescriptionFramework，RDF）。在参考资料部分有到关于所有这些技术的信息的链接。4SuiteServer概述我们将使用由本文作者参
系统 2019-09-27 17:49:38 1876
