ShivDutta(sdutta@us.ibm.com),技术顾问,IBMShivDutta是IBMSystemsGroup的一名技术顾问，他帮助独立软件供应商在pSeries服务器启用他们的应用程序。Shiv有作为软件开发人员、系统管理员和讲师的丰富经验。他在AIX的系统管理、问题确定、性能调优和规模指导方面提供支持。Shiv在AIX诞生之时就从事这方面的工作。他从OhioUniversity获得物理博士学位，可以通过sdutta@us.ibm.com与
系统 2019-08-12 01:33:10 2255
简易的分布式文件系统本来初期打算用Hadoop2，可是后来有限的服务器部署了SolrCloud，各种站点，发现资源不够了，近10T的文件，已经几乎把服务器的磁盘全部用光。想来想去，由于目前架构基于Scala的，所以还是用ScalaAkka实现了一个简单版本的分布式文件系统。Scala版本是2.10.3：http://www.scala-lang.org，Akka版本是2.2.3：http://akka.io。所有文件随机放在不同的服务器上，在数据库中记录了
系统 2019-08-12 01:31:55 2255
python3的编码问题。打开python开发工具IDLE，新建‘codetest.py'文件，并写代码如下：importsysprint(sys.getdefaultencoding())F5运行程序，打印出系统默认编码方式将字符串从str格式编码程bytes格式，修改代码如下：importsysprint(sys.getdefaultencoding())s='你好'print(type(s))b=s.encode('utf-8')print(type
系统 2019-09-27 17:57:25 2254
爬虫工作的三个基本步骤：爬取网页、解析内容、存储数据准备先安装爬取网页需要用到的第三方库：requests和bs4pipinstallrequestspipinstallbs4爬取网页#coding:UTF-8importrequestslink="http://www.santostang.com/"headers={'User-Agent':'Mozilla/5.0(WindowsNT6.1;Win64;x64)AppleWebKit/537.36(K
系统 2019-09-27 17:57:02 2254
前言PySpark一直使用的是Linux默认的Python2.7.5版本，感觉超级不爽，于是想升个级，可怎么升啊？于是又开始了万年的Google操作步骤安装Python3.X参考配置全局变量sudovim/etc/profileexportPATH=/usr/bin/python3:$PATHsource/etc/profile打开CDHWeb配置spark-env.sh文件如下：即添加：exportPYSPARK_PYTHON=/usr/bin/pyth
系统 2019-09-27 17:56:03 2254
学Python可以干很多岗位，有爬虫工程师，有数据分析师，有自动化运维，有后端开发，而这么多岗位里面薪资最高的一定是AI的算法岗位，做机器学习的岗位！量大而且薪资很高！我们都知道机器学习是AI领域最为重要的技术，不管以后从事哪一类AI的岗位都离不开机器学习。其实机器学习的基础很大程度上决定了一个AI从业者能力的上线，这就好比一个对数据敏感的人可以做好运营、市场、产品等各种岗位的职责。鉴于机器学习的重要地位，贪心学院继火爆的NLP训练营，这次又重磅推出了《机
系统 2019-09-27 17:55:53 2254
本次选取泰坦尼克号的数据，利用python进行抽样分布描述及实践。备注：数据集的原始数据是泰坦尼克号的数据，本次截取了其中的一部分数据进行学习。Age:年龄，指登船者的年龄。Fare:价格，指船票价格。Embark:登船的港口。1、按照港口分类，使用python求出各类港口数据年龄、车票价格的统计量（均值、方差、标准差、变异系数等）。importpandasaspddf=pd.read_excel('/Users/Downloads/data.xlsx',
系统 2019-09-27 17:54:38 2254
一、闭包来自wiki：闭包（Closure）是词法闭包（LexicalClosure）的简称，是引用了自由变量的函数。这个被引用的自由变量将和这个函数一同存在，即使已经离开了创造它的环境也不例外。所以，有另一种说法认为闭包是由函数和与其相关的引用环境组合而成的实体。在一些语言中，在函数中定义另一个函数时，如果内部的函数引用了外部的函数的变量，则可能产生闭包。运行时，一旦外部的函数被执行，一个闭包就形成了，闭包中包含了内部函数的代码，以及所需外部函数中的变量
系统 2019-09-27 17:54:10 2254
DBSCAN的聚类类簇数k是自适应的。太忙了没工夫写文字了。fromsklearnimportdatasetsimportnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.clusterimportDBSCANX1,y1=datasets.make_circles(n_samples=5000,factor=.6,noise=.05)X2,y2=datasets.make_blobs(n_samples=10
系统 2019-09-27 17:53:45 2254
Pycharm鼠标移动到函数上，CTRL+Q可以快速查看文档，CTR+P可以看基本的参数。apply(),applymap()和map()apply()和applymap()是DataFrame的函数，map()是Series的函数。apply()的操作对象是DataFrame的一行或者一列数据，applymap()是DataFrame的每一个元素。map()也是Series中的每一个元素。apply()对dataframe的内容进行批量处理,这样要比循环
系统 2019-09-27 17:50:41 2254
