前面
一篇文章
写到如何通过gp_segment_id来判断表的DK值设置有数据，下面是通过查看占用空间的量来检查分配不平衡的表，并重新调整着DK值。我的一台greenplum机器，其中的一个节点的数据量比其它的节点多很多，说明数据分布的不平衡，如下所示：
以sdw16为例:
$du -sh /gpdata{1,2}/data/gp*
347G /gpdata1/data/gp30
412G /gpdata1/data/gp62
357G /gpdata1/data/gp63
336G /gpdata2/data/gp31
338G /gpdata2/data/gp94
343G /gpdata2/data/gp95
$cd /gpdata1/data/gp62/base/516096
$ll|awk '{if($5>=209715200)print $9}'|awk -F. '{FILE[$1]++;count++;}END{for(a in FILE)print FILE[a]" "FILE[a]/count*100 "% " a}'|column -c3 -s " " -t|sort -nr|head -n10
找出单文件超过200MB的,且统计了超过1GB的文件出现的次数(因为PG设置单文件大小不超过1GB,超过1GB的文件,会分成xxx.1,xxx.2的形式存在)。脚本里面的最后一列就是文件名，也即pg_class里面的relfilenode。gp_distribution_policy里面存储的是DK值的策略分布，pg_attribute里面存放着表的具体列的信息。下面的SQL就是找出文件所对应的表以及DK的定义。
$du -sh /gpdata{1,2}/data/gp*
347G /gpdata1/data/gp30
412G /gpdata1/data/gp62
357G /gpdata1/data/gp63
336G /gpdata2/data/gp31
338G /gpdata2/data/gp94
343G /gpdata2/data/gp95
$cd /gpdata1/data/gp62/base/516096
$ll|awk '{if($5>=209715200)print $9}'|awk -F. '{FILE[$1]++;count++;}END{for(a in FILE)print FILE[a]" "FILE[a]/count*100 "% " a}'|column -c3 -s " " -t|sort -nr|head -n10
找出单文件超过200MB的,且统计了超过1GB的文件出现的次数(因为PG设置单文件大小不超过1GB,超过1GB的文件,会分成xxx.1,xxx.2的形式存在)。脚本里面的最后一列就是文件名，也即pg_class里面的relfilenode。gp_distribution_policy里面存储的是DK值的策略分布，pg_attribute里面存放着表的具体列的信息。下面的SQL就是找出文件所对应的表以及DK的定义。
select
a.oid,a.relname,b.nspname,c.attrnums,d.attname
from
pg_class a
inner
join
pg_namespace b
on
a.relnamespace
=
b.oid
inner
join
gp_distribution_policy c
on
a.oid
=
c.localoid
inner
join
pg_attribute d
on
a.oid
=
d.attrelid
where
a.relfilenode
=
[
filename
]
and
d.attnum
=any
(c.attrnums)
接着，查看表的数据大致的情况，重新设置DK值；然后通过gp_segment_id分布的情况进行检验，最终vacuum full+analyze，把该表调整到最佳状态。
