ReadingHDFSFilesAsSideEffect.java
上传用户:quxuerui
上传日期:2018-01-08
资源大小:41811k
文件大小:3k
源码类别:

网格计算

开发平台:

Java

  1. /**
  2.  * Licensed to the Apache Software Foundation (ASF) under one
  3.  * or more contributor license agreements.  See the NOTICE file
  4.  * distributed with this work for additional information
  5.  * regarding copyright ownership.  The ASF licenses this file
  6.  * to you under the Apache License, Version 2.0 (the
  7.  * "License"); you may not use this file except in compliance
  8.  * with the License.  You may obtain a copy of the License at
  9.  *
  10.  *     http://www.apache.org/licenses/LICENSE-2.0
  11.  *
  12.  * Unless required by applicable law or agreed to in writing, software
  13.  * distributed under the License is distributed on an "AS IS" BASIS,
  14.  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15.  * See the License for the specific language governing permissions and
  16.  * limitations under the License.
  17.  */
  18. package org.apache.hadoop.vaidya.postexdiagnosis.tests;
  19. import org.apache.hadoop.vaidya.statistics.job.JobStatistics;
  20. import org.apache.hadoop.vaidya.statistics.job.JobStatisticsInterface.JobKeys;
  21. import org.apache.hadoop.vaidya.statistics.job.JobStatisticsInterface.KeyDataType;
  22. import org.apache.hadoop.vaidya.statistics.job.JobStatisticsInterface.ReduceTaskKeys;
  23. import org.apache.hadoop.vaidya.statistics.job.ReduceTaskStatistics;
  24. import org.apache.hadoop.vaidya.DiagnosticTest;
  25. import org.w3c.dom.Element;
  26. import java.util.Hashtable;
  27. import java.util.List;
  28. /**
  29.  *
  30.  */
  31. public class ReadingHDFSFilesAsSideEffect extends DiagnosticTest {
  32.   private double _impact;
  33.   private JobStatistics _job;
  34.   
  35.   
  36.   
  37.   /**
  38.    * 
  39.    */
  40.   public ReadingHDFSFilesAsSideEffect() {
  41.   }
  42.   /*
  43.    * Evaluate the test    
  44.    */
  45.   @Override
  46.   public double evaluate(JobStatistics job) {
  47.     
  48.     /*
  49.      * Set the this._job
  50.      */
  51.     this._job = job;
  52.     
  53.     /*
  54.      * Calculate and return the impact
  55.      * 
  56.      * Check if job level aggregate bytes read from HDFS are more than map input bytes
  57.      * Typically they should be same unless maps and/or reducers are reading some data
  58.      * from HDFS as a side effect
  59.      * 
  60.      * If side effect HDFS bytes read are >= twice map input bytes impact is treated as
  61.      * maximum.
  62.      */
  63.     
  64.     this._impact = (job.getLongValue(JobKeys.HDFS_BYTES_READ) / job.getLongValue(JobKeys.MAP_INPUT_BYTES));
  65.     if (this._impact >= 2.0) {
  66.       this._impact = 1;
  67.     }
  68.     else  {
  69.       this._impact -= 1;
  70.     }
  71.     
  72.     return this._impact;
  73.   }
  74.   
  75.   /* (non-Javadoc)
  76.    * @see org.apache.hadoop.contrib.utils.perfadvisor.diagnostic_rules.DiagnosticRule#getAdvice()
  77.    */
  78.   @Override
  79.   public String getPrescription() {
  80.     return 
  81.     "Map and/or Reduce tasks are reading application specific files from HDFS. Make sure the replication factorn" +
  82.         "of these HDFS files is high enough to avoid the data reading bottleneck. Typically replication factorn" +
  83.         "can be square root of map/reduce tasks capacity of the allocated cluster.";
  84.   }
  85.   /* (non-Javadoc)
  86.    * @see org.apache.hadoop.contrib.utils.perfadvisor.diagnostic_rules.DiagnosticRule#getReferenceDetails()
  87.    */
  88.   @Override
  89.   public String getReferenceDetails() {
  90.     String ref = "* Total HDFS Bytes read: "+this._job.getLongValue(JobKeys.HDFS_BYTES_READ)+"n"+
  91.                  "* Total Map Input Bytes read: "+this._job.getLongValue(JobKeys.MAP_INPUT_BYTES)+"n"+
  92.                  "* Impact: "+truncate(this._impact);
  93.     return ref;
  94.   }
  95. }