051 日志案例分析(PV,UV),以及动态分区

1.实现的流程

  需求分析

    时间:日,时段

    分区表:两级

    PV

    UV

  数据清洗

    2015-08-28 18:19:10

    字段:id,url,guid,tracktime

  数据分析

  导出

2.新建源数据库

  051 日志案例分析(PV,UV),以及动态分区

3.新建表

  051 日志案例分析(PV,UV),以及动态分区

4.加载原始数据

  051 日志案例分析(PV,UV),以及动态分区

5.查看部分结果

  051 日志案例分析(PV,UV),以及动态分区

6.建立清洗数据表(方便下面的分区表的建立)

  051 日志案例分析(PV,UV),以及动态分区

  051 日志案例分析(PV,UV),以及动态分区

7.为清洗表加载数据

  051 日志案例分析(PV,UV),以及动态分区

8.展示部分清洗过后的数据

  051 日志案例分析(PV,UV),以及动态分区

9.建立分区表

  051 日志案例分析(PV,UV),以及动态分区

10.加载数据

  051 日志案例分析(PV,UV),以及动态分区

11.展示部分结果

  051 日志案例分析(PV,UV),以及动态分区

二:动态分区表的建立

12.动态分区的配置修改 

  <property>
    <name>hive.exec.dynamic.partition</name>
    <value>true</value>      ---》》默认是true,不需要再修改
    <description>Whether or not to allow dynamic partitions in DML/DDL.</description>
  </property>

  <property>
    <name>hive.exec.dynamic.partition.mode</name>
    <value>nonstrict</value>
  </property>

  051 日志案例分析(PV,UV),以及动态分区

13.新建分区表

  051 日志案例分析(PV,UV),以及动态分区

14.加载数据

  051 日志案例分析(PV,UV),以及动态分区

15.查看部分结果

  051 日志案例分析(PV,UV),以及动态分区

三:数据分析,实现需求

16.实现需求

  051 日志案例分析(PV,UV),以及动态分区

17.把结果存入result中

  051 日志案例分析(PV,UV),以及动态分区

17.导出数据进入mysql

  1.新建表

  051 日志案例分析(PV,UV),以及动态分区

  2.整体输出结果

  051 日志案例分析(PV,UV),以及动态分区

  3.查看结果(mysql中)

  051 日志案例分析(PV,UV),以及动态分区

  

  

上一篇:shell读取文件参数


下一篇:mysql管理工具percona-toolkit-3简单使用介绍