上课人数：指标 男生 女生 戴眼镜 不戴眼镜 戴眼镜男生 不戴眼镜男生 戴眼镜女生 不戴眼镜女生 张三 男 戴眼镜 李四 男生 不戴眼镜 需求：通过一个MR将所有存在的值都计算出来 map：输入一条记录，输出是K-V键值对的数据 男生 张三 戴眼镜 张三 戴眼镜男生 张三 男生 李四 不戴眼镜 李四 不戴眼镜男生 李四 reduce： 男生 张三 2 男生 李四 戴眼镜 张三 1 戴眼镜男生 张三 1 不戴眼镜 李四 1 不戴眼镜男生 李四 1 map: 读取到一行记录之后去匹配所有可能存在的key，每一个匹配项可以当做一条输出记录 reduce： 将相同key的数据汇聚到一起，按照名称进行累计求和操作，得到最终的结果 ------------------------------------------------- 指标：新增用户 用户基本信息模块： 时间 浏览器分析模块： 时间，浏览器 可能存在的情况： 时间 时间，浏览器 数据： 20190818 张三 www.mashibing.com firefox-48 20190818 李四 www.mashibing.com firefox-53 通过一个MR计算所有结果： map: key: value: 20190818 张三 20190818,firefox-48 张三 20190818,firefox-all 张三 20190818 李四 20190818,firefox-53 李四 20190818,firefox-all 李四 reduce： 20190818 张三 2 20190818 李四 20190818,firefox-48 张三 1 20190818,firefox-all 张三 2 20190818,firefox-all 李四 20190818,firefox-53 李四 1 ------------------------------------------------- 指标：新增用户 用户基本信息模块： 时间，平台 浏览器分析模块： 时间，浏览器，平台 可能存在的情况： 时间 时间，平台 时间，浏览器，平台 数据： 20190818 张三 www.mashibing.com firefox-48 website 20190818 李四 www.mashibing.com firefox-53 website 通过一个MR计算所有结果： map: key: value: 20190818 张三 20190818,website 张三 20190818,website-all 张三 20190818,firefox-48 张三 20190818,firefox-48,website 张三 20190818,firefox-48,website-all 张三 20190818,firefox-all 张三 20190818,firefox-all,website 张三 20190818,firefox-all,website-all 张三 20190818 李四 20190818,website 李四 20190818,website-all 李四 20190818,firefox-53 李四 20190818,firefox-53,website 李四 20190818,firefox-53,website-all 李四 20190818,firefox-all 李四 20190818,firefox-all,website 李四 20190818,firefox-all,website-all 李四 reduce： 20190818,website 张三 2 20190818,website 李四 20190818,website-all 张三 2 20190818,website-all 李四 20190818,firefox-48 张三 1 20190818,firefox-48,website 张三 1 20190818,firefox-48,website-all 张三 1 20190818,firefox-all 张三 2 20190818,firefox-all 李四 20190818,firefox-all,website 张三 2 20190818,firefox-all,website 李四 20190818,firefox-all,website-all 张三 2 20190818,firefox-all,website-all 李四 20190818,firefox-53 李四 1 20190818,firefox-53,website 李四 1 20190818,firefox-53,website-all 李四 1 ------------------------------------------------- 指标：新增用户 用户基本信息模块： 时间，平台,user 浏览器分析模块： 时间，浏览器，平台,browser 可能存在的情况： 时间user 时间，平台user 时间，浏览器，平台browser 数据： 20190818 张三 www.mashibing.com firefox-48 website 20190818 李四 www.mashibing.com firefox-53 website 通过一个MR计算所有结果： map: key: value: 20190818,user 张三 20190818,website,user 张三 20190818,website-all,user 张三 20190818,firefox-48,browser 张三 20190818,firefox-48,website,browser 张三 20190818,firefox-48,website-all ,browser 张三 20190818,firefox-all,browser 张三 20190818,firefox-all,website,browser 张三 20190818,firefox-all,website-all,browser 张三 20190818,user 李四 20190818,website,user 李四 20190818,website-all,user 李四 20190818,firefox-53 ,browser 李四 20190818,firefox-53,website,browser 李四 20190818,firefox-53,website-all,browser 李四 20190818,firefox-all,browser 李四 20190818,firefox-all,website,browser 李四 20190818,firefox-all,website-all,browser 李四 reduce： 20190818,website,user 张三 2 20190818,website,user 李四 20190818,website-all,user 张三 2 20190818,website-all,user 李四 20190818,firefox-48,browser 张三 1 20190818,firefox-48,website ,browser 张三 1 20190818,firefox-48,website-all,browser 张三 1 20190818,firefox-all,browser 张三 2 20190818,firefox-all,browser 李四 20190818,firefox-all,website,browser 张三 2 20190818,firefox-all,website,browser 李四 20190818,firefox-all,website-all,browser 张三 2 20190818,firefox-all,website-all,browser 李四 20190818,firefox-53,browser 李四 1 20190818,firefox-53,website ,browser 李四 1 20190818,firefox-53,website-all,browser 李四 1 ------------------ map: 1、读取一条记录，将记录拆分成K-V格式的数据 2、key要求是维度组合（条件组合） 3、value要求是唯一标识一行记录的值 reduce: 1、将相同key的数据汇聚到一起， 2、将不同情况的结果插入到不同的表中