Hive的访问接口|Allen'sWorldHive的访问接口Hive提供了三种客户端访问接口：1）HiveCLI（HiveCommandLine，Hive命令行），客户端可以直接在命令行模式下进行操作。2）hwi（HiveWebInterface，HiveWeb接口），Hive提供了更直观的Web界面3）hiveserver，Hive提供了Thrift服务，Thrift客户端目前支持C++/Java/PHP/Python/Ruby。下面我们来分别尝试下这
系统 2019-08-12 01:32:58 2857
功能：将两个表中的同样的字段拼接到一起測试：createexternaltableIFNOTEXISTStemp_uniontest_ta(a1string,a2string)partitionedby(dtstring)rowformatdelimitedfieldsterminatedby'\t'storedastextfile;ALTERTABLEtemp_uniontest_taADDIFNOTEXISTSPARTITION(dt='2014-10
系统 2019-08-12 01:55:40 2676
HiveDB|OpenSourceframeworkforhorizontallypartitioningMySQLsystemsHiveDBisanopensourceframeworkforhorizontallypartitioningMySQLsystems.BuildingscalableandhighperformanceMySQL-backedsystemsrequiresagooddealofexpertiseindesigningthes
系统 2019-08-12 01:31:50 2620
hive中使用lzo1启动hive错误Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/hive/conf/HiveConfatjava.lang.Class.forName0(NativeMethod)atjava.lang.Class.forName(Class.java:247)atorg.apache.hadoop.util.RunJar.main(Run
系统 2019-08-12 09:27:08 2618
无意间在部门的svn看到以前老员工的Hive优化文档，看看了，写的挺详细的，结合hadoopInaction(陆)一书的内容在这里做个汇总1,列裁剪在读数据的时候，只读取查询中需要用到的列，而忽略其他列。例如，对于查询：1SELECTa,bFROMTWHEREe<10;其中，T包含5个列(a,b,c,d,e)，列c，d将会被忽略，只会读取a,b,e列这个选项默认为真：hive.optimize.cp=true2，分区裁剪在查询的过程中减少不必要的分区。例如
系统 2019-08-12 01:31:41 2550
在网上找了一圈。。也没有找到相关的资料。。一点都没有。。。还有有大米公开的代码供参考。。。赶紧把学习的成果记录下来。。CM_KEY_NODE的结构：+0x014SubKeyCounts:[2]Uint4B//SubKeyCounts[0]子键的个数+0x01cSubKeyLists:[2]Uint4B//SubKeyLists[0]子键列表相差本BIN的偏移这里的subKeyList是一个偏移。。指向CM_KEY_INDEX结构。。最复杂的也是这个结构。。
系统 2019-08-12 09:26:52 2466
HIVEregistryisusefulandeasytousefeature,toenableit,weneedfirstaddtheHIVEregistryfeaturefromCATALOGintotheOSDesignfile.thenaddregistryasfollowinglisted.ThefollowingisthesettinginmyplatformusingFLASHtostoretheregistry.There'resomedi
系统 2019-08-12 01:32:30 2459
昨天群上有人发个阿里的面试题，题目描述大概如下：数据源：用户登录表，只有俩个字段，uid和dt试用HQL抽取出连续登录了K天的用户uid第一个想法就是直接用一个UDF解决，按uid分组，把dt收集起来然后在UDF里面判断是否满足条件SELECTuid,isExist(collect_set(dt),k)flagFROMtable_nameGROUPBYuidHAVINGflag=1;其中isExist的逻辑是判断collect_set中是否存在k个连续的值
系统 2019-08-12 01:32:10 2455
目录：初始HiveHive安装与配置Hive内建操作符与函数开发HiveJDBChive参数Hive高级编程HiveQLHiveShell基本操作hive优化Hive体系结构Hive的原理配套视频课程第一部分：软件准备与环境规划Hadoop环境介绍•Hadoop安装路径•/home/test/Desktop/hadoop-1.0.0/•Hadoop元数据存放目录•/home/test/data/core/namenode•Hadoop数据存放路径•/hom
系统 2019-08-29 22:27:47 2427
hive实战-qiang.xu-博客园hive实战1.安装hive2.hive实战3.hive存储模型4.深入hql查询语言5.参考资料及代码下载<1>.安装hive下载hive，下载地址http://mirror.bjtu.edu.cn/apache//hive/，解压该文件：xuqiang@ubuntu:~/hadoop/src/hive$tarzxvfhive-0.7.0-bin.tar.gz设置环境变量：xuqiang@ubuntu:~/hadoo
系统 2019-08-12 01:32:58 2352
介绍hive的用户自定义聚合函数（UDAF）是一个很好的功能，集成了先进的数据处理。hive有两种UDAF：简单和通用。顾名思义，简单的UDAF，写的相当简单的，但因为使用Java反射导致性能损失，而且有些特性不能使用，如可变长度参数列表。通用UDAF可以使用所有功能，但是UDAF就写的比较复杂，不直观。本文只介绍通用UDAF。UDAF是需要在hive的sql语句和groupby联合使用，hive的groupby对于每个分组，只能返回一条记录，这点和m
系统 2019-08-12 01:32:14 2325
用户反馈数据库设置归档后，无法启动，并报如下错误：SQL>startupORA-16019:cannotuseLOG_ARCHIVE_DEST_1withLOG_ARCHIVE_DESTorLOG_ARCHIVE_DUPLEX_DEST这个错误很简单，主要是由于log_archive_dest与log_archive_dest_n这两个参数是不能够同时设置值、共存的。调整方法：>setORACLE_SID=orcl>sqlplus/nologSQL>con
系统 2019-08-12 09:26:41 2322
一、上传hive0.11解压后的文件到linux1、用的版本是shark站点提供的，可能是针对shark修改了代码。2、追加mysql、oracle两个jdbc驱动包到lib目录下。二、配置相关文件1、.bash_profile文件exportHIVE_HOME=/home/kituser/bigdata/hive-0.11.0-binexportHIVE_CONF_DIR=$HIVE_HOME/confexportCLASSPATH=$CLASSPATH
系统 2019-08-12 09:27:02 2315
最近在测试HCatalog，由于Hcatalog本身就是一个独立JAR包，虽然它也可以运行service，但是其实这个service就是metastorethriftserver，我们在写基于Hcatalog的mapreducejob时候只要把hcatalogJAR包和对应的hive-site.xml文件加入libjars和HADOOP_CLASSPATH中就可以了。不过在测试的时候还是遇到了一些问题，hivemetastoreserver在运行了一段时间
系统 2019-08-12 01:52:10 2311
原文：http://blog.javachen.com/2014/06/09/hive-data-manipulation-language.html关于HiveDML语法，你可以参考apache官方文档的说明:HiveDataManipulationLanguage。apache的hive版本现在应该是0.13.0，而我使用的hadoop版本是CDH5.0.1，其对应的hive版本是0.12.0。故只能参考apache官方文档来看cdh5.0.1实现了哪
系统 2019-08-12 09:27:34 2304
