最近正在进行ETL后台系统数据的日志分析,查看运行耗时长的TASK,并找出耗时长的JOB,进行逻辑层面和数据库层面的优化.本文仅从数据库层面上的优化着手(包括SQL语句的调整以及greenplumtabledk的调整).查看一个耗时30分钟左右的JOB,找到相应的源表,进行如下分析:dw=#selectgp_segment_id,count(*)fromtb_namegroupbygp_segment_idorderbycount(*)descgp_seg
系统 2019-08-12 01:54:28 2323
ViewCodeCREATEPROCEDUREaddusermodule@ModuleId_ArrayvarChar(2000),@UserIdintASDECLARE@PointerPrevintDECLARE@PointerCurrintDECLARE@TIdintSet@PointerPrev=1set@PointerCurr=1begintransactionSetNoCountONdeletefromtestswhereuserid=@UserI
系统 2019-08-12 01:53:15 2323
1、下载EasyDBO项目源码地址：http://www.easyjf.com/easydbo/download.htmSVN::http://svn.easyjf.com/repository/easyjf/easydbo/2、编译安装EasyDBO一般情况下，我们直接下载整个EasyDBO项目的源代码，然后在自己的机器上根据JDK重新编译一次。通过执行bin里面的build.batjar，或者双击build.bat，然后选择jar，即可执行EasyDB
系统 2019-08-12 01:51:33 2323
pandas读取、写入csv数据非常方便，但是有时希望通过excel画个简单的图表看一下数据质量、变化趋势并保存，这时候csv格式的数据就略显不便，因此尝试直接将数据写入excel文件。pandas可以写入一个或者工作簿，两种方法介绍如下：1、如果是将整个DafaFrame写入excel，则调用to_excel()方法即可实现，示例代码如下：#output为要保存的Dataframeoutput.to_excel('保存路径+文件名.xlsx')2、有多个
系统 2019-09-27 17:56:47 2322
本文介绍了python支持向量机非线性回归SVR模型，废话不多说，具体如下：importnumpyasnpimportmatplotlib.pyplotaspltfromsklearnimportdatasets,linear_model,svmfromsklearn.model_selectionimporttrain_test_splitdefload_data_regression():'''加载用于回归问题的数据集'''diabetes=datas
系统 2019-09-27 17:55:51 2322
Python获取当前路径实现代码importos,sys使用sys.path[0]、sys.argv[0]、os.getcwd()、os.path.abspath(__file__)、os.path.realpath(__file__)sys.path是Python会去寻找模块的搜索路径列表，sys.path[0]和sys.argv[0]是一回事因为Python会自动把sys.argv[0]加入sys.path。如果你在C:\test目录下执行python
系统 2019-09-27 17:55:39 2322
1.强制类型转换dict()强制转换为字典类型list()强制转换为列表类型tuple()强制转换为元组类型int()强制转为整形str()强制转换为字符串类型bool()强制转换为布尔类型set()强制转换为集合类型2.输入输出print()输出input()输入3.数学相关abs()绝对值qqq=abs(-253)print(qqq)float()转换成浮点型v=55v1=float(v)print(v1)max()找到最大值list=[11,22,3
系统 2019-09-27 17:55:32 2322
概述Python3中函数参数一般都是通过赋值进行传递的，而调用者只需要知道如何正确的传递参数即可直接使用函数，位置参数即我们使用最频繁的参数传递方法，通过参数的默认位置从左到右进行匹配deff(x,y,z):print(x,y,z)f(1,2,3)示例结果：123关键词参数我们可以通过函数参数关键字进行参数传递，此时参数的传递是通过变量名匹配，而不是位置的方式匹配，所以在我们在使用混合的基于位置的参数和基于关键字的参数传递的原则就是，先基于位置的参数从左到
系统 2019-09-27 17:55:29 2322
全文共5270字，预计学习时长11分钟或更长图片来源：pexels.com/@divinetechygirl从文明之初到2003年，只创造了5艾字节的信息，但是现在每两天就有如此之多的信息产生。埃里克·施密特（EricSchmidt）如果你是R使用者，可能你已经使用过data.table程序包。Data.table是R中数据帧程序包的延伸。涉及大型数据（包括RAM中1的10GB）快速集合时，该数据包也是R使用者的首选程序包。R的data.table程序包使
系统 2019-09-27 17:55:20 2322
python自带了四种数据结构：列表、字典、元组、集合，本章主要介绍第一种：列表。列表：有序的、可变的对象集合动态的：长度可以随时变化异构的：数字与字符串等不同类型的变量可以存在一个列表里元组：有序的、不可变的对象集合简单来说就是一个常量列表。字典：无序的键值对集合就类似C++里面的map。注意字典增加元素的插入顺序没有任何意义。在一个字典中，键的值是唯一的。集合：无序的、唯一对象的集合类似C++中的set。但是是没有顺序的。1、in操作符使用in操作符来
系统 2019-09-27 17:55:09 2322
