最近正在进行ETL后台系统数据的日志分析,查看运行耗时长的TASK,并找出耗时长的JOB,进行逻辑层面和数据库层面的优化.本文仅从数据库层面上的优化着手(包括SQL语句的调整以及greenplumtabledk的调整).查看一个耗时30分钟左右的JOB,找到相应的源表,进行如下分析:dw=#selectgp_segment_id,count(*)fromtb_namegroupbygp_segment_idorderbycount(*)descgp_seg
系统 2019-08-12 01:54:28 2191
什么是命名查询？Hibernate允许在映射文件中定义字符串形式的查询语句，这种查询方式成为命名查询使用命名查询有什么好处？由于使用Hibernate的HQL常常需要在Java代码中写字符串查询语句，HQL混杂在代码之间，破坏代码可读性，通过使用命名查询，可以使业务逻辑和查询语句分离，使您专注于查询，而避免了SQL或者HQL代码分散于整个应用程序中的情况。可以应用命名查询做复杂查询的处理命名查询如何实现？介绍下面几种方式：方法一：在配置文件中
系统 2019-08-12 01:54:13 2191
今天是2013-09-09，时别n久的一篇经典文章，有被我在google发现了，再次转载一下。学习一下。一、LRU链：任何缓存的大小都是有限制的，并且总不如被缓存的数据多。就像Buffercache用来缓存数据文件，数据文件的大小远远超过Buffercache。因此，缓存总有被占满的时候。当缓存中已经没有空闲内存块时，如果新的数据要求进入缓存，就只有从缓存中原来的数据中选出一个牺牲者，用新进入缓存的数据覆盖这个牺牲者。这一点我们在共享池中曾提及过，这个牺牲
系统 2019-08-12 01:53:08 2191
http://www.lydsy.com/JudgeOnline/problem.php?id=1050表示被暴力吓到了orz我竟然想不到。。。我竟然还想到分数规划，，但是不可做。。。然后又想到最小生成树，，然后不会做orz我一直在纠结怎么最大化（或最小化）分母和最小化（或最大化）分子的做法。。。。。但是。。。。不会orz没想到是暴力orz直接排序后枚举最小的边，生成树后要最大的边最小（排序后即可orz），然后更新答案即可。但是不知道之前写错了啥wa了两发
系统 2019-08-12 01:52:31 2191
原文:T-SQL性能调整——信息收集IO信息（自服务器启动开始）--DatabaseIOanalysisWITHIOFORDATABASEAS(SELECTDB_NAME(VFS.database_id)ASDatabaseName,CASEWHENsmf.type=1THEN'LOG_FILE'ELSE'DATA_FILE'ENDASDatabaseFile_type,SUM(VFS.num_of_bytes_written)ASIO_Write,SUM
系统 2019-08-12 01:51:43 2191
原文:SQL点滴35—SQL语句中的exists比如在Northwind数据库中有一个查询为SELECTc.CustomerId,CompanyNameFROMCustomerscWHEREEXISTS(SELECTOrderIDFROMOrdersoWHEREo.CustomerID=c.CustomerID)这里面的EXISTS是如何运作呢？子查询返回的是OrderId字段，可是外面的查询要找的是CustomerID和CompanyName字段，这两个
系统 2019-08-12 01:32:38 2191
前言关于python爬虫目前有两个主流的库一个是urllib和requests在python3中urllib2已经没有了，取而代之的是urllib.request。这里的话我将首先介绍urllib.request的使用。之后我再介绍request，我本人是打算做一个系列的爬虫教程不仅仅包括入门还有实战进阶所以我希望浏览我写的博客时可以按顺序浏览学习。那么废话不多说奉上名言成功没有偶然。即便有些胜利者谦虚地说，自己的成功是偶然的缘故。——尼采开始正片！！！u
系统 2019-09-27 17:57:27 2190
前言PySpark一直使用的是Linux默认的Python2.7.5版本，感觉超级不爽，于是想升个级，可怎么升啊？于是又开始了万年的Google操作步骤安装Python3.X参考配置全局变量sudovim/etc/profileexportPATH=/usr/bin/python3:$PATHsource/etc/profile打开CDHWeb配置spark-env.sh文件如下：即添加：exportPYSPARK_PYTHON=/usr/bin/pyth
系统 2019-09-27 17:56:03 2190
随着和大数据、人工智能绑定在一起，Python可畏是越来越厉害了!前几天，PYPL（即编程语言流行指数，基于Google搜索频率而定）出炉了6月编程语言排行榜，Python拿下NO.1，成为最流行的编程语言。赢得毫无波澜！随着Python的发展，一向以技术著称的Google推出了超级强大的在线编辑器Colaboratory，不需要进行任何设置就可以使用，并且完全在云端运行，最重要的是免费！还在等什么！玩Python的最佳利器！下面就来聊聊Colaborat
系统 2019-09-27 17:55:33 2190
一.垃圾回收机制Python中的垃圾回收是以引用计数为主，分代收集为辅。1、导致引用计数+1的情况对象被创建，例如a=23对象被引用，例如b=a对象被作为参数，传入到一个函数中，例如func(a)对象作为一个元素，存储在容器中，例如list1=[a,a]2、导致引用计数-1的情况对象的别名被显式销毁，例如dela对象的别名被赋予新的对象，例如a=24一个对象离开它的作用域，例如f函数执行完毕时，func函数中的局部变量（全局变量不会）对象所在的容器被销毁，
系统 2019-09-27 17:55:03 2190
