前言PySpark一直使用的是Linux默认的Python2.7.5版本，感觉超级不爽，于是想升个级，可怎么升啊？于是又开始了万年的Google操作步骤安装Python3.X参考配置全局变量sudovim/etc/profileexportPATH=/usr/bin/python3:$PATHsource/etc/profile打开CDHWeb配置spark-env.sh文件如下：即添加：exportPYSPARK_PYTHON=/usr/bin/pyth
系统 2019-09-27 17:56:03 2260
概述Python3中函数参数一般都是通过赋值进行传递的，而调用者只需要知道如何正确的传递参数即可直接使用函数，位置参数即我们使用最频繁的参数传递方法，通过参数的默认位置从左到右进行匹配deff(x,y,z):print(x,y,z)f(1,2,3)示例结果：123关键词参数我们可以通过函数参数关键字进行参数传递，此时参数的传递是通过变量名匹配，而不是位置的方式匹配，所以在我们在使用混合的基于位置的参数和基于关键字的参数传递的原则就是，先基于位置的参数从左到
系统 2019-09-27 17:55:29 2260
使用input和raw_input都可以读取控制台的输入，但是input和raw_input在处理数字时是有区别的当输入为纯数字时：input返回的是数值类型，如int,floatraw_inpout返回的是字符串类型，string类型输入字符串为表达式input会计算在字符串中的数字表达式，而raw_input不会。如输入“57+3”:input会得到整数60raw_input会得到字符串”57+3”pythoninput的实现看pythoninput的
系统 2019-09-27 17:55:06 2260
Python数据分析学习笔记02：Python语言基础、IPython与Jupyter笔记本在2012年，现在大家习以为常的许多库，比如pandas、scikit-learn和statsmodels，那时都相对不成熟。在2017年，有日益增长的关于数据科学、数据分析和机器学习的文献资料，补充了先前关于通用科学计算的工作，主要针对计算科学家、物理学家和其它研究领域的专业人员。学习Python编程成为高效软件工程师的好书确实不少。建议采用IPython控制台与
系统 2019-09-27 17:54:40 2260
一代码编排1缩进4个空格的缩进（编辑器都可以完成此功能），不要使用Tap，更不能混合使用Tap和空格。2每行最大长度79，换行可以使用反斜杠，最好使用圆括号。换行点要在操作符的后边敲回车。3类和top-level函数定义之间空两行；类中的方法定义之间空一行；函数内逻辑无关段落之间空一行；其他地方尽量不要再空行。二文档编排1模块内容的顺序：模块说明和docstring―import―globals&constants―其他定义。其中import部分，又按标准
系统 2019-09-27 17:51:16 2260
Python列表具有内置的list.sort()方法，可以在原地修改列表。还有一个sorted()内置的函数从迭代构建一个新的排序列表。在本文中，我们将探讨使用Python排序数据的各种技术。请注意，sort()原始数据被破坏，sorted()没有对原始数据进行操作，而是新建了一个新数据。一、基本的排序最基本的排序很简单。只要使用sorted()函数即可返回一个新的排序的列表>>>sorted([5,2,3,1,4])[1,2,3,4,5]咱们也可以使用l
系统 2019-09-27 17:51:01 2260
1.dict()创建字典复制代码代码如下:>>>fdict=dict((['x',1],['y',2]))>>>fdict{'y':2,'x':1}2.fromkeys()来创建一个"默认"字典,字典中元素具有相同的值复制代码代码如下:>>>ddict={}.fromkeys(('x','y'),-1)>>>ddict{'y':-1,'x':-1}3.遍历字典使用keys()遍历复制代码代码如下:>>>dict2={'name':'earth','port
系统 2019-09-27 17:50:06 2260
一、函数的定义及其应用所谓函数，就是把具有独立功能的代码块组织成为一个小模块，在需要的时候调用函数的使用包含两个步骤1.定义函数�C封装独立的功能2.调用函数�C享受封装的成果函数的作用:在开发时，使用函数可以提高编写的效率以及代码的重用‘'函数：函数是带名字的代码块，用于完成具体的工作需要在程序中多次执行同一项任务时，你无需反复编写完成该任务的代码，而只需调用该任务的函数，让python运行其中的代码，你将发现，通过使用函数，程序编写，阅读，测试和修复都
系统 2019-09-27 17:48:58 2260
一、进程间通信IPC(Inter-ProcessCommunication)IPC机制：实现进程之间通讯管道：pipe基于共享的内存空间队列：pipe+锁的概念--->queue二、队列(Queue)2.1概念-----multiProcess.Queue创建共享的进程队列，Queue是多进程安全的队列，可以使用Queue实现多进程之间的数据传递。Queue([maxsize])创建共享的进程队列。参数：maxsize是队列中允许的最大项数。如果省略此参数
系统 2019-09-27 17:48:51 2260
1、先来看一个函数：defsum(x,y):returnx+y用lambda来实现：p=lambdax,y:x+yprint(p(1,2))2、传入一个参数的lambda函数a=lambdax:x*xprint(a(2))#注意：这里直接a(2)可以执行，但没有输出的，因为没有print3、多个参数的lambda形式：a=lambdax,y,z:x*y*zprint(a(5,6,7))匿名函数lambda：是指一类无需定义标识符（函数名）的函数或子程序。l
系统 2019-09-27 17:48:43 2260
