最近正在进行ETL后台系统数据的日志分析,查看运行耗时长的TASK,并找出耗时长的JOB,进行逻辑层面和数据库层面的优化.本文仅从数据库层面上的优化着手(包括SQL语句的调整以及greenplumtabledk的调整).查看一个耗时30分钟左右的JOB,找到相应的源表,进行如下分析:dw=#selectgp_segment_id,count(*)fromtb_namegroupbygp_segment_idorderbycount(*)descgp_seg
系统 2019-08-12 01:54:28 2214
一位哥们(之前的同事，某世界500强，你懂的)问我，老外要他优化SQL，一共4个，全是树形查询的。前面3个跑半个多小时，后面一个跑1个小时，总共要跑2个半小时。问有啥方法可以优化。因为SQL类型基本上一样，这里指贴一个SQL其实这些SQL都是insertinto...select....要想INSERT快，就必须SELECT块SQL语句如下selectrownum,adn,zdn,'cable'from(selectdistinctconnect_by_r
系统 2019-08-12 01:54:18 2214
大家打开这个链接可以看到很多数据库的连接方法。http://www.connectionstrings.com/这些数据库之间的数据交换就是这个贴子所要总结的内容。（一）SQLServer之间把远程数据库中的数据导入到本地数据库。http://community.csdn.net/Expert/topic/5079/5079649.xml?temp=.7512018http://community.csdn.net/Expert/topic/5011/50
系统 2019-08-12 01:52:22 2214
这个题相当经典。很多题目都可以等价过来。一、简单的O（n^2)的算法很容易想到用动态规划做。设lis[]用于保存第1~i元素元素中最长不下降序列的长度，则lis[i]=max(lis[j])+1,且num[i]>num[j],i>j。然后在lis[]中找到最大的一个值，时间复杂度是O(n^2)。intLongest_Increasing(intnum[],intn){intlis[n],i,j;for(i=0;i
系统 2019-08-12 01:51:25 2214
PIVOT用于将列值旋转为列名（即行转列），在SQLServer2000可以用聚合函数配合CASE语句实现PIVOT的一般语法是：PIVOT(聚合函数(列)FOR列in(…))ASP注意：PIVOT、UNPIVOT是SQLServer2005的语法，使用需修改数据库兼容级别(在数据库属性->选项->兼容级别改为90)SQL2008中可以直接使用完整语法：table_sourcePIVOT(聚合函数（value_column）FORpivot_columnI
系统 2019-08-12 01:33:02 2214
在进行SQLServer培训的时候，人们总是会有这样的一个疑问：“当事务日志增长到一定程度的时候，我该怎么办?”我一般会用另一个问题来回答，那就是：“你进行备份了吗?”对于这一问题，人们的回答往往是：“当然，我们每天晚上都会备份整个数据库。”但是你对日志进行备份了吗?在这一点上，学员们认为如果能解决这一难题，这个培训就是值得的。进行事务日志备份的时候，不仅仅是只将最新提交的事务备份，与此同时还会截断相应的日志文件。截断就意味着备份过的事务将会从日志文件中移
系统 2019-08-12 01:32:42 2214
在编程界，Python是一种神奇的存在。有人认为，只有用Python才能优雅写代码，提高代码效率；但另一部分人恨不能把Python喷成筛子。那么，Python到底有没有用？作为一名C++开发者，我自认为我的语言优点太多，可做的应用也更多，这一瞬间被Python这个毛头小伙追赶上来，所以学习了Python的内容。不过，Python真有这么强吗？学了才知道，真的强大！Python到底能做什么？Python易学，编译速度又超快。因为其拥有大量第三方库，所以开发人
系统 2019-09-27 17:57:50 2213
获取输入的五个点画五边形defpentagonUpdate():p={}win=GraphWin("Click",800,300)#后面两个值为窗体的长和宽foriinrange(5):p[i]=win.getMouse()p[i].draw(win)polygon=Polygon(p[0],p[1],p[2],p[3],p[4])polygon.setFill("peachpuff")polygon.setOutline("black")polygon.
系统 2019-09-27 17:57:01 2213
基础篇正则表达式在python中运用的非常多，因为他可以进行任意的匹配，可以匹配我们想要提取的信息。当我们接触正则的时候你就会知道正则的强大。正则有一个库re在一些工程中我们会经常调用正则的库来做与匹配相关的问题。字符串是编程时涉及到的最多的一种数据结构，对字符串进行操作的需求几乎无处不在。比如判断一个字符串是否是合法的Email地址，虽然可以编程提取@前后的子串，再分别判断是否是单词和域名，但这样做不但麻烦，而且代码难以复用。正则表达式是一种用来匹配字符
系统 2019-09-27 17:55:32 2213
看知乎的时候发现了一个“如何正确地吐槽”收藏夹，里面的一些神回复实在很搞笑，但是一页一页地看又有点麻烦，而且每次都要打开网页，于是想如果全部爬下来到一个文件里面，是不是看起来很爽，并且随时可以看到全部的，于是就开始动手了。工具1.Python2.72.BeautifulSoup分析网页我们先来看看知乎上该网页的情况：网址：，容易看到，网址是有规律的，page慢慢递增，这样就能够实现全部爬取了。再来看一下我们要爬取的内容：我们要爬取两个内容：问题和回答，回答
系统 2019-09-27 17:53:39 2213
