Spark编程环境Spark可以独立安装使用，也可以和Hadoop一起安装使用。在安装Spark之前，首先确保你的电脑上已经安装了Java8或者更高的版本。Spark安装访问Spark下载页面，并选择最新版本的Spark直接下载，当前的最新版本是2.4.2。下载好之后需要解压缩到安装文件夹中，看自己的喜好，我们是安装到了/opt目录下。tar-xzfspark-2.4.2-bin-hadoop2.7.tgzmvspark-2.4.2-bin-hadoop2
系统 2019-09-27 17:52:49 2132
本文主要是记录ubuntu16.04下python环境配置，具体内容如下对于ubuntu16.04，由于本身是自带python，这样就减少了在windows下的下载和环境变量配置，非常不错。但是他本身是自带两个版本的python，2.X和3.X,两个版本，两个版本默认的是使用2.X，毕竟3.X是一个趋势，今后我这边应该也会主要使用3.X版本，所以这里记录一下如果在版本间切换以及如何把python版本切换到3.X下的方法。一、确认本机下的python默认版本
系统 2019-09-27 17:51:01 2132
某天回家之时，听到有个朋友说起他正在做一个车牌识别的项目于是对其定位车牌的位置算法颇有兴趣，今日有空得以研究，事实上车牌识别算是比较成熟的技术了，这里我只是简单实现。我的思路为：对图片进行一些预处理，包括灰度化、高斯平滑、中值滤波、Sobel算子边缘检测等等。利用OpenCV对预处理后的图像进行轮廓查找，然后根据一些参数判断该轮廓是否为车牌轮廓。效果如下：test1：test2实现代码如下（对图像预处理（滤波器等）的原理比较简单，这里只是对一些函数进行调包
系统 2019-09-27 17:50:43 2132
简介在这篇文章中，我将向大家演示怎样向一个通用计算器一样解析并计算一个四则运算表达式。当我们结束的时候，我们将得到一个可以处理诸如1+2*-(-3+2)/5.6+3样式的表达式的计算器了。当然，你也可以将它拓展的更为强大。我本意是想提供一个简单有趣的课程来讲解语法分析和正规语法（编译原理内容）。同时，介绍一下PlyPlus,这是一个我断断续续改进了好几年的语法解析接口。作为这个课程的附加产物，我们最后会得到完全可替代eval（）的一个安全的四则运算器。如果
系统 2019-09-27 17:49:09 2132
【嵌牛导读】Python是一门运用很广泛的语言，自动化脚本、爬虫，甚至在深度学习领域也都有Python的身影。作为一名前端开发者，也了解ES6中的很多特性借鉴自Python(比如默认参数、解构赋值、Decorator等)，同时本文会对Python的一些用法与JS进行类比。不管是提升自己的知识广度，还是更好地迎接AI时代，Python都是一门值得学习的语言。【嵌牛鼻子】python与JS的相似之处【嵌牛提问】python与JS有哪些相似呢？【嵌牛正文】数据类
系统 2019-09-27 17:38:01 2132
学Python，想必大家都是从爬虫开始的吧。毕竟网上类似的资源很丰富，开源项目也非常多。Python学习网络爬虫主要分3个大的版块：抓取，分析，存储当我们在浏览器中输入一个url后回车，后台会发生什么？简单来说这段过程发生了以下四个步骤：查找域名对应的IP地址。向IP对应的服务器发送请求。服务器响应请求，发回网页内容。浏览器解析网页内容。网络爬虫要做的，简单来说，就是实现浏览器的功能。通过指定url，直接返回给用户所需要的数据，而不需要一步步人工去操纵浏览
系统 2019-09-27 17:37:39 2132
Numpy模块被广泛用于科学和数值计算，自然有它的强大之处，之前对于特征处理中需要进行数据列表或者矩阵拼接的时候都是自己写的函数来完成的，今天发现一个好玩的函数，不仅好玩，关键性能强大，那就是Numpy模块自带的矩阵、列表连接函数，实践一下。#!usr/bin/envpython#encoding:utf-8from__future__importdivision'''__Author__:沂水寒城使用numpy模块实现矩阵的连接操作'''importnu
系统 2019-09-27 17:55:12 2131
前言尝试用python语言写脚本是好的开始，证明我们有了自动化的思想，这对优秀的程序开发人员是很重要的，电子计算机本来就是要减少重复工作的。首先我们要用到python自带的一些包，python语言让人爱不释手的一点，就是它自带了许多简捷迅速的包，堪称攻坚手术刀，用到的包：os（操作系统相关库），shutil（高级的文件,文件夹,压缩包处理模块）。经典的开头#-*-coding:utf-8-*-importosimportshutilimportsystyp
系统 2019-09-27 17:54:28 2131
什么是异常？一般情况下，在python无法正常处理程序时就会发生一个异常（异常是python对象，表示一个错误），也就是我们俗称的程序崩了。异常就是程序运行时候发生错误的信号（在程序出现错误的时候，则会产生一个异常，若程序没有处理他，则会抛出该异常，程序的运行也随之终止）。异常的处理步骤：1、可预知的异常：如果错误发生的条件是可预知的，需要用if进行处理，在错误发生之前进行预防。2、未知的异常：try:代码块except异常类型:异常处理的方法else:如
系统 2019-09-27 17:53:08 2131
PySnooper在GitHub上自嘲是一个“乞丐版”调试工具（poorman'sdebugger）。一般情况下，在编写Python代码时，如果想弄清楚为什么Python代码没有按照预期执行、哪些代码在运行哪些没在运行、局部变量又是什么，我们会使用包含断点和观察模式等功能的调试器，或者直接使用print语句打印出来。但上面的方法都比较麻烦，例如使用调试器需要进行繁琐的设置，使用print打印也要很仔细。与它们相比，使用PySnooper只需为要调试的函数添
系统 2019-09-27 17:50:04 2131
因为最近接触到调用新浪微博开放接口的项目，所以就想试试用python调用微博API。SDK下载地址：http://open.weibo.com/wiki/SDK代码不多十几K，完全可以看懂。有微博账号可以新建一个APP，然后就可以得到appkey和appsecret，这个是APP获得OAuth2.0授权所必须的。了解OAuth2可以查看链接新浪微博的说明。OAuth2授权参数除了需要appkey和appsecret还需要网站回调地址redirect_uri
系统 2019-09-27 17:47:08 2131
1、python装饰器刚刚接触python的装饰器，简直懵逼了，直接不懂什么意思啊有木有，自己都忘了走了多少遍Debug，查了多少遍资料，猜有点点开始明白了。总结了一下解释得比较好的，通俗易懂的来说明一下：小P闲来无事，随便翻看自己以前写的一些函数，忽然对一个最最最基础的函数起了兴趣：defsum1():sum=1+2print(sum)sum1()此时小P想看看这个函数执行用了多长时间，所以写了几句代码插进去了：importtimedefsum1():s
系统 2019-09-27 17:38:08 2131
Linux的initrd技术是一个非常普遍使用的机制，linux2.6内核的initrd的文件格式由原来的文件系统镜像文件转变成了cpio格式，变化不仅反映在文件格式上，linux内核对这两种格式的initrd的处理有着截然的不同。本文首先介绍了什么是initrd技术，然后分别介绍了Linux2.4内核和2.6内核的initrd的处理流程。最后通过对Linux2.6内核的initrd处理部分代码的分析，使读者可以对initrd技术有一个全面的认识。为了更好
系统 2019-08-29 23:52:14 2131
本文实例分析了python多线程用法。分享给大家供大家参考。具体如下：今天在学习尝试学习python多线程的时候，突然发现自己一直对super的用法不是很清楚，所以先总结一些遇到的问题。当我尝试编写下面的代码的时候：复制代码代码如下:classA():def__init__(self):print"A"classB(A):def__init__(self):super(B,self).__init__()#A.__init__(self)print"B"b
系统 2019-09-27 17:53:01 2130
简单使用最开始，我们用最短的代码体验一下logging的基本功能。importlogginglogger=logging.getLogger()logging.basicConfig()logger.setLevel('DEBUG')logger.debug('logsomething')#输出out>>DEBG:root:logsomething第一步，通过logging.getLogger函数，获取一个loger对象，但这个对象暂时是无法使用的。第二步
系统 2019-09-27 17:52:26 2130
