最近有部分工作涉及到了Infobright数据仓库,就浏览了一些相关的资料,感觉很受启发。下面写一些感想,如有谬误,还请指正。简单的来讲,Infobright主要有下面的一些优点:1.TB级的数据存储和高效查询。大数据量存储主要依赖自己提供的高速数据加载工具(百G/小时)和高数据压缩比(>10:1),高效查询主要依赖特殊设计的存储结构对查询的优化,但这里优化的效果还取决于数据库结构和查询语句的设计。2.高数据压缩比,号称一般能够达到10:1以上的数据压缩率
系统 2019-08-12 01:53:23 2039
MSSQL可以跨服务器远程对MSSQL、Excel、DB2、Oracle、XML...等数据源执行操作,对不同的数据源提供不同的接口,这里使用MSDASQL驱动接口作为示例。1.建立连接服务器并建立链接服务器登陆EXECsp_addlinkedserver'test_remot','','MSDASQL',NULL,NULL,'DRIVER={SQLServer};SERVER=10.64.29.14;UID=sa;PWD=sa;'EXECsp_addli
系统 2019-08-12 01:52:30 2039
分布式文件系统MFS(moosefs)实现存储共享(一)-sery-51CTO技术博客分布式文件系统MFS(moosefs)实现存储共享(一)2009-04-0912:55:07标签:MFS存储共享实现存储共享文件系统MFS分布式原创作品,允许转载,转载时请务必以超链接形式标明文章原始出处、作者信息和本声明。否则将追究法律责任。http://sery.blog.51cto.com/10037/147756分布式文件系统MFS(moosefs)实现存储共享作
系统 2019-08-12 01:32:30 2039
一些小提示和小技巧可能是非常有用的,特别是在编程领域。有时候使用一点点黑客技术,既可以节省时间,还可能挽救“生命”。一个小小的快捷方式或附加组件有时真是天赐之物,并且可以成为真正的生产力助推器。所以,这里有一些小提示和小技巧,有些可能是新的,但我相信在下一个数据分析项目中会让你非常方便。Pandas中数据框数据的Profiling过程Profiling(分析器)是一个帮助我们理解数据的过程,而PandasProfiling是一个Python包,它可以简单快
系统 2019-09-27 17:57:26 2038
单变量6.1101,17.5925.5277,9.13028.5186,13.6627.0032,11.8545.8598,6.82338.3829,11.8867.4764,4.34838.5781,126.4862,6.59875.0546,3.81665.7107,3.252214.164,15.5055.734,3.15518.4084,7.22585.6407,0.716185.3794,3.51296.3654,5.30485.1301,0.5
系统 2019-09-27 17:56:53 2038
#-*-coding:utf-8-*-classSuperTupl(tuple):defto_lis(self):returnlist(self)defto_dic(self,set_key=0):a={str(val[set_key]):valforvalinself}returnSuperDic(**a)classSuperDic(dict):defclean(self,key):"""d=SuperDic(a=1,b=2,c=3)print(d.cl
系统 2019-09-27 17:55:31 2038
为了配合LogStash日志收集服务,需要将线上服务的日志输出改为json格式。python日志标准库中并没有json格式的formatter,网上虽然已经有一些json相关的formatter,但不是很满意,就自己开发了一个并放到了github和pypi,目前仅支持Python3,能够很方便的解决自定义名映射属性问题,也支持新增自定义属性。欢迎到我的github点星星、提问题:https://github.com/MyColorfulDays/jsonf
系统 2019-09-27 17:53:20 2038
简述从官网下载了Python3.7.4,直接编译安装后,使用pip3出现了报错信息:Can'tconnecttoHTTPSURLbecausetheSSLmoduleisnotavailable错误原因在Python3.7之后的版本,依赖的openssl,必须要是1.1或者1.0.2之后的版本,或者安装了2.6.4之后的libressl。image.png而本地的openssl依然是1.0.1e的。[root@localhost~]#opensslvers
系统 2019-09-27 17:52:58 2038
什么是运算符?本章节主要说明Python的运算符。举个简单的例子4+5=9。例子中,4和5被称为操作数,"+"称为运算符。Python语言支持以下类型的运算符:算术运算符比较(关系)运算符赋值运算符逻辑运算符位运算符成员运算符身份运算符运算符优先级接下来让我们一个个来学习Python的运算符。一.Python算术运算符以下假设变量:a=10,b=20:注意:Python3.x里,整数除整数,得到的是浮点数。>>>1/30.3333333333333333>
系统 2019-09-27 17:52:37 2038
forwhile选择使用哪种循环技巧:不知道循环多少次的用while,知道循环多少次的用for能用for不用whileforiin"abc":print(i)第一次:取a存到i里面,然后执行for的代码块第二次:取b存到i里面,然后执行for的代码块第三次:取c存到i里面,然后执行for的代码块foriinrange(5):print(i)ifi==3:continueelse:print(“nobreak”)总结:只要循环体内部没有执行break就会执行
系统 2019-09-27 17:52:37 2038