项目中使用的hive版本低于0.11，无法使用hive在0.11中新加的开窗分析函数。
在项目中需要使用到row_number()函数的地方，有人写了udf来实现这个功能。
new java project, BuildPath add hadoop-core..jar and hive-exec…jar。
package myudf;
import java.util.Arrays;
import org.apache.hadoop.hive.ql.exec.UDF;
public final class rank extends UDF {
private int counter;
private String[] _paras = null;
public int evaluate(String... paras) {
if (_paras != null && Arrays.equals(_paras, paras)) {
this.counter++;
} else {
this.counter = 1;
//_paras = paras;
copy(paras);
}
return this.counter;
}
void copy(String[] paras)
{
if(null == paras){_paras=null;}
else {_paras= new String[paras.length];
for(int i=;i<paras.length;i++)
_paras[i]=paras[i];
}
} }
创建辅助表的数据文件：
i=0;
while [ $i -ne 1000 ]
do
echo -e "$i" >>nums.txt;
i=$(($i +1));
done
这个数字辅助表在辅助生成数据时比较有用。
在hive中创建nums表并加载刚才创建的示例数据；
hive -e "create table nums(num int) row format delimited stored as textfile;"
hive -e "load data local inpath '/home/hadoop/data/nums.txt' overwrite into table nums;"
使用辅助表生成数据：
hive -e "create table myaccount as select 'account1' as account, 'evan' as maker, rand()*10000 as trans_amount from nums a join nums b;" insert overwrite table myaccount
select a.*
from myaccount a
join
(select * from nums where num <10) b;
--check file has how many blocks
insert overwrite table myaccount
select a.*
from myaccount a order by account,maker;
这样这个表的数据大概有三百M左右了。
默认情况下使用hive跑就要使用2个maper来处理了。
把刚才的java project打包并上传到HDFS 以供hive使用,
hadoop fs -mkdir /user/hive/warehouse/udf/;
hadoop fs -copyFromLocal /home/hadoop/jar/myhiveudf.jar /user/hive/warehouse/udf/;
add jar hdfs:/user/hive/warehouse/udf/myhiveudf.jar;
create temporary function myrank as "myudf.rank";
使用hive的udf进行数据测试：
create table myaccountrank as select account,maker,trans_amount,myrank(account,maker) as rank1 from myaccount;
按我们的数据情况来看，我们想要的结果是max(rank1)=1000000;但是实际结果却是：8348163；
原因是在执行create table的时候，使用了两个mapper去处理结果，这样相同的account 和 maker 被拆分给两个map task去处理，这样算出来的结果就是有问题的。
问题是hive udf是如何确定执行在map phase还是reduce phase呢？
udf分为udaf,udtf和普通的udf,现在看来我们普通的udf直接就在map阶段完成了，而udfa应该会在reduce阶段完成。
同样的需求，如果我们正确地去做，可以使用hive自带的row_number去做，如下：
create table myaccountrank2 as select account,maker,trans_amount,row_number() over(partition by account,maker order by account,maker ) as rank1 from myaccount;
执行的时候，显示需要两个mapper，一个reduce来处理。第一次处理的时候报了java heap space error.
set mapred.child.java.opts; --default 200M
调整此参数至1G:set mapred.child.java.opts = -Xmx1024m;
再次执行完成。
其他常用参数：
set mapred.max.split.size; ---256M
hive.merge.mapfiles = true; --是否和并 Map 输出文件，默认为 True
set hive.merge.mapredfiles;
hive.merge.mapredfiles = false; --是否合并 Reduce 输出文件，默认为 False
set hive.merge.size.per.task;
hive.merge.size.per.task = 256*1000*1000; --合并文件的大小
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
set hive.input.format;
hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat :default value
查看全部的参数可以使用命令：set –v;
网上找到的其他的hive tips，未测试，需要在实践中修正，引用如下：
1.尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段
2.尽量原子化操作，尽量避免一个SQL包含复杂逻辑,可以使用中间表来完成复杂的逻辑
3.join操作 小表要注意放在join的左边.可以指定使用map join，如果有小表。4.如果union all的部分个数大于2，或者每个union部分数据量大，应该拆成多个insert into 语句，实际测试过程中，执行时间能提升50%
5.写SQL要先了解数据本身的特点，如果有join ,group操作的话，要注意是否会有数据倾斜