OfflineAnonymizer.java
上传用户:quxuerui
上传日期:2018-01-08
资源大小:41811k
文件大小:4k
源码类别:

网格计算

开发平台:

Java

  1. /**
  2.  * Licensed to the Apache Software Foundation (ASF) under one
  3.  * or more contributor license agreements.  See the NOTICE file
  4.  * distributed with this work for additional information
  5.  * regarding copyright ownership.  The ASF licenses this file
  6.  * to you under the Apache License, Version 2.0 (the
  7.  * "License"); you may not use this file except in compliance
  8.  * with the License.  You may obtain a copy of the License at
  9.  *
  10.  *     http://www.apache.org/licenses/LICENSE-2.0
  11.  *
  12.  * Unless required by applicable law or agreed to in writing, software
  13.  * distributed under the License is distributed on an "AS IS" BASIS,
  14.  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15.  * See the License for the specific language governing permissions and
  16.  * limitations under the License.
  17.  */
  18. package org.apache.hadoop.contrib.failmon;
  19. import java.io.BufferedWriter;
  20. import java.io.File;
  21. import java.io.FileWriter;
  22. /**********************************************************
  23.  * This class can be used to anonymize logs independently of
  24.  * Hadoop and the Executor. It parses the specified log file to
  25.  * create log records for it and then passes them to the Anonymizer.
  26.  * After they are anonymized, they are written to a local file,
  27.  * which is then compressed and stored locally.
  28.  * 
  29.  **********************************************************/
  30. public class OfflineAnonymizer {
  31.   public enum LogType {
  32.     HADOOP, SYSTEM
  33.   };
  34.   LogType logtype;
  35.   File logfile;
  36.   LogParser parser;
  37.   /**
  38.    * Creates an OfflineAnonymizer for a specific log file.
  39.    * 
  40.    * @param logtype the type of the log file. This can either be
  41.    * LogFile.HADOOP or LogFile.SYSTEM
  42.    * @param filename the path to the log file
  43.    * 
  44.    */  
  45.   public OfflineAnonymizer(LogType logtype, String filename) {
  46.     logfile = new File(filename);
  47.     if (!logfile.exists()) {
  48.       System.err.println("Input file does not exist!");
  49.       System.exit(0);
  50.     }
  51.     if (logtype == LogType.HADOOP)
  52.       parser = new HadoopLogParser(filename);
  53.     else
  54.       parser = new SystemLogParser(filename);
  55.   }
  56.   /**
  57.    * Performs anonymization for the log file. Log entries are
  58.    * read one by one and EventRecords are created, which are then
  59.    * anonymized and written to the output.
  60.    * 
  61.    */
  62.   public void anonymize() throws Exception {
  63.     EventRecord er = null;
  64.     SerializedRecord sr = null;
  65.     BufferedWriter bfw = new BufferedWriter(new FileWriter(logfile.getName()
  66.         + ".anonymized"));
  67.     System.out.println("Anonymizing log records...");
  68.     while ((er = parser.getNext()) != null) {
  69.       if (er.isValid()) {
  70.         sr = new SerializedRecord(er);
  71.         Anonymizer.anonymize(sr);
  72.         bfw.write(LocalStore.pack(sr).toString());
  73.         bfw.write(LocalStore.RECORD_SEPARATOR);
  74.       }
  75.     }
  76.     bfw.flush();
  77.     bfw.close();
  78.     System.out.println("Anonymized log records written to " + logfile.getName()
  79.         + ".anonymized");
  80.     System.out.println("Compressing output file...");
  81.     LocalStore.zipCompress(logfile.getName() + ".anonymized");
  82.     System.out.println("Compressed output file written to " + logfile.getName()
  83.         + ".anonymized" + LocalStore.COMPRESSION_SUFFIX);
  84.   }
  85.   public static void main(String[] args) {
  86.     if (args.length < 2) {
  87.       System.out.println("Usage: OfflineAnonymizer <log_type> <filename>");
  88.       System.out
  89.           .println("where <log_type> is either "hadoop" or "system" and <filename> is the path to the log file");
  90.       System.exit(0);
  91.     }
  92.     LogType logtype = null;
  93.     if (args[0].equalsIgnoreCase("-hadoop"))
  94.       logtype = LogType.HADOOP;
  95.     else if (args[0].equalsIgnoreCase("-system"))
  96.       logtype = LogType.SYSTEM;
  97.     else {
  98.       System.err.println("Invalid first argument.");
  99.       System.exit(0);
  100.     }
  101.     OfflineAnonymizer oa = new OfflineAnonymizer(logtype, args[1]);
  102.     try {
  103.       oa.anonymize();
  104.     } catch (Exception e) {
  105.       e.printStackTrace();
  106.     }
  107.     return;
  108.   }
  109. }