Hadoop网站日志数据清洗——正则表达式实现

周旭龙前辈的Hadoop学习笔记—网站日志分析项目案例简明、经典,业已成为高校大数据相关专业的实验项目。上周博主也完成了这个实验,不同于周前辈使用特殊符号切割字符串得到数据的做法,博主使用了正则表达式来匹配数据。在此将我的思路及代码张贴出来,以供后来者学习借鉴。

一、数据情况分析

1.1、数据格式概览

本次实验数据来自于国内某论坛,数据以行为单位,每行记录由5部分组成,访问者IP、访问时间、访问资源、访问状态、访问流量。

Hadoop网站日志数据清洗——正则表达式实现

1.2、所需的数据

按照实验教程,我们只需要IP、时间、uri即可,不过本着既能完成实验,又能锻炼锻炼的想法,我把发个文状态以及访问流量也提取了出来。

1.3、上传数据至HDFS

本次试验到手的数据大小为60MB,约60万行。数据量较小,因此直接使用shell命令上传至HDFS。

Hadoop网站日志数据清洗——正则表达式实现

Hadoop网站日志数据清洗——正则表达式实现

注:欲知更详细的项目背景,请点击Hadoop学习笔记—网站日志分析项目案例(一)项目介绍__周旭龙_博客园

二、数据清洗准备

2.1、日志解析类

将解析日志信息的功能抽象成为一个日志解析类,分别解析各字段信息。

2.1.1 各字段的正则表达式

IP位于行的开头,因此定位到行起始位置,向右读取字符,直到遇到空格。又因为一个有效的IP最少为四个数字+三个符号,7位;最大为3*4+3,15位。所以行起始处7~15位为IP。表达式为:'^\S{7,15}'

            时间位于一个方括号内,直接提取方括号内的数据即可:'\[.*?\]'

URI及其相关数据与时间数据位置类似,都在成对符号之内,因此可用相同的解法将其提取出来,再做下一步分析:'\".*?\"'

状态码只有三位数,且两边都是空格,可以吧两边的空格也提出来,再去掉:' \d{3} '

            流量在行尾,也都是数字:'\d{1,6}$'

2.1.2 函数

除了一个parse函数以及五个分别处理字段的函数外,正则表达式匹配也抽象成了一个函数。需要注意的是匹配是否为空,以及匹配uri并将其分割为数组后下标取值是否越界。

  1. public class parseLine {  
  2.         
  3.     public String[] parse(String line)  
  4.     {  
  5.         String ip = parseIP(line);  
  6.         String time = parseTime(line);  
  7.         String url = parseURL(line);  
  8.         String status = parseStatus(line);  
  9.         String traffic = parseTraffic(line);  
  10.             
  11.         return new String[] {ip,time,url,status,traffic};  
  12.     }  
  13.         
  14.     private String parseReg(String reg,String str)  
  15.     {  
  16.         Pattern pat = Pattern.compile(reg);  
  17.         Matcher matcher = pat.matcher(str);  
  18.         boolean rs = matcher.find();  
  19.         if(rs)  
  20.             return matcher.group(0);  
  21.         else  
  22.             return "null";  
  23.     }  
  24.     
  25.     private String[] splitUrl(String str)  
  26.     {  
  27.         String []urlInfo = str.substring(1, str.length()-1).split(" ");  
  28.         return urlInfo;  
  29.     }  
  30.         
  31.     private String parseTraffic(String line) {  
  32.         String reg_ip = "\\d{1,6}$";  
  33.         return parseReg(reg_ip,line);  
  34.     }  
  35.     
  36.     private String parseStatus(String line) {  
  37.         String reg_ip = " \\d{3} ";  
  38.         return parseReg(reg_ip,line).trim();  
  39.     }  
  40.     
  41.     private String parseURL(String line) {  
  42.         String reg_ip = "\".*?\"";  
  43.         String str = parseReg(reg_ip,line);  
  44.         String[] urlInfo = splitUrl(str);  
  45.             
  46.         return urlInfo[1];  
  47.     }  
  48.     
  49.     private String parseTime(String line) {  
  50.         String reg_ip = "\\[.*?\\]";  
  51.         String str = parseReg(reg_ip,line);  
  52.         SimpleDateFormat in=new SimpleDateFormat("[dd/MMM/yyyy:HH:mm:ss ZZZZZ]",Locale.US);   
  53.         SimpleDateFormat out=new SimpleDateFormat("yyyy年MM月dd日 HH时mm分ss秒");   
  54.         Date d = new Date();  
  55.         try  
  56.         {  
  57.             d=in.parse(str);   
  58.         }  
  59.         catch (ParseException e)  
  60.         {   
  61.             e.printStackTrace();  
  62.         }  
  63.         return out.format(d).trim();  
  64.     }  
  65.     
  66.     private String parseIP(String line) {  
  67.         String reg_ip = "^\\S{7,15}";  
  68.         return parseReg(reg_ip,line);  
  69.     }  
  70. }  

2.2、Mapper类

map阶段的输入为<偏移量,一行文本>,输出为<偏移量,处理后的数据>。再这个类中,对数据的有效性判断也在这儿,博主只过滤了静态数据。

  1. public class logMap extends Mapper<LongWritable,Text,LongWritable,Text>{  
  2.     static parseInfo parseLine = new parseInfo();  
  3.     protected void map(LongWritable key1,Text value1,Context context) throws IOException,InterruptedException  
  4.     {  
  5.         String str1 = value1.toString();  
  6.         Text output = new Text();  
  7.             
  8.         final String[] info = parseLine.parse(str1);  
  9.             
  10.         if(info[2].startsWith("/static") || info[2].startsWith("/uc_server"))  
  11.             return ;  
  12.     
  13.         StringBuilder result = new StringBuilder();  
  14.         for(String x:info)  
  15.             result.append(x).append("\t");  
  16.             
  17.         output.set(result.toString());  
  18.         context.write(key1, output);  
  19.     }  
  20. }  

2.3、Reducer类

        reduce阶段的输入与map的输出有关,为<偏移量,处理后数据的集合>,输出则为<处理后的数据,空>。

  1. public class logReducer extends Reducer<LongWritable,Text,Text,NullWritable>{  
  2.     protected void reduce(LongWritable k3,Iterable<Text> v3,Context context) throws IOException,InterruptedException{  
  3.         for(Text v3s : v3)  
  4.             context.write(v3s, NullWritable.get());  
  5.     }  
  6. }  

2.4、主函数

  1. public class logMain {  
  2.     
  3.     public static void main(String[] args) throws Exception{  
  4.         Job job = Job.getInstance(new Configuration());  
  5.         job.setJarByClass(logMain.class);  
  6.             
  7.         job.setMapperClass(logMap.class);  
  8.         job.setMapOutputKeyClass(LongWritable.class);  
  9.         job.setMapOutputValueClass(Text.class);  
  10.             
  11.         job.setReducerClass(logReducer.class);  
  12.         job.setOutputKeyClass(Text.class);  
  13.         job.setOutputValueClass(NullWritable.class);  
  14.             
  15.         FileInputFormat.setInputPaths(job, new Path(args[0]));  
  16.         FileOutputFormat.setOutputPath(job, new Path(args[1]));  
  17.             
  18.         job.waitForCompletion(true);  
  19.     }  
  20.     
  21. }  

三、数据清洗

将编写好的MR到处导出为jar包后,在hadoop中用小规模的测试用例试运行,成功后再用实验数据。

Hadoop网站日志数据清洗——正则表达式实现

Hadoop网站日志数据清洗——正则表达式实现

结果如下:

Hadoop网站日志数据清洗——正则表达式实现

注:完整项目

Hadoop学习笔记—20.网站日志分析项目案例(一)项目介绍

Hadoop学习笔记—20.网站日志分析项目案例(二)数据清洗

Hadoop学习笔记—20.网站日志分析项目案例(三)统计分析

上一篇:Jenkins 配置邮件通知步骤


下一篇:CentOS、Ubuntu、Debian简析