MapsReExecutionImpact.java
上传用户:quxuerui
上传日期:2018-01-08
资源大小:41811k
文件大小:3k
源码类别:

网格计算

开发平台:

Java

  1. /**
  2.  * Licensed to the Apache Software Foundation (ASF) under one
  3.  * or more contributor license agreements.  See the NOTICE file
  4.  * distributed with this work for additional information
  5.  * regarding copyright ownership.  The ASF licenses this file
  6.  * to you under the Apache License, Version 2.0 (the
  7.  * "License"); you may not use this file except in compliance
  8.  * with the License.  You may obtain a copy of the License at
  9.  *
  10.  *     http://www.apache.org/licenses/LICENSE-2.0
  11.  *
  12.  * Unless required by applicable law or agreed to in writing, software
  13.  * distributed under the License is distributed on an "AS IS" BASIS,
  14.  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15.  * See the License for the specific language governing permissions and
  16.  * limitations under the License.
  17.  */
  18. package org.apache.hadoop.vaidya.postexdiagnosis.tests;
  19. import org.apache.hadoop.vaidya.statistics.job.JobStatistics;
  20. import org.apache.hadoop.vaidya.statistics.job.JobStatisticsInterface.JobKeys;
  21. import org.apache.hadoop.vaidya.statistics.job.JobStatisticsInterface.KeyDataType;
  22. import org.apache.hadoop.vaidya.statistics.job.JobStatisticsInterface.ReduceTaskKeys;
  23. import org.apache.hadoop.vaidya.statistics.job.ReduceTaskStatistics;
  24. import org.apache.hadoop.vaidya.DiagnosticTest;
  25. import org.w3c.dom.Element;
  26. import java.util.Hashtable;
  27. import java.util.List;
  28. /**
  29.  *
  30.  */
  31. public class MapsReExecutionImpact extends DiagnosticTest {
  32.   private double _impact;
  33.   private JobStatistics _job;
  34.   private long _percentMapsReExecuted;
  35.   
  36.   
  37.   /**
  38.    * 
  39.    */
  40.   public MapsReExecutionImpact() {
  41.   }
  42.   /*
  43.    * Evaluate the test    
  44.    */
  45.   @Override
  46.   public double evaluate(JobStatistics job) {
  47.     
  48.     /*
  49.      * Set the this._job
  50.      */
  51.     this._job = job;
  52.     
  53.     /*
  54.      * Calculate and return the impact
  55.      */
  56.     this._impact = ((job.getLongValue(JobKeys.LAUNCHED_MAPS) - job.getLongValue(JobKeys.TOTAL_MAPS))/job.getLongValue(JobKeys.TOTAL_MAPS));
  57.     this._percentMapsReExecuted = Math.round(this._impact * 100);
  58.     return this._impact;
  59.   }
  60.   
  61.   /* (non-Javadoc)
  62.    * @see org.apache.hadoop.contrib.utils.perfadvisor.diagnostic_rules.DiagnosticRule#getAdvice()
  63.    */
  64.   @Override
  65.   public String getPrescription() {
  66.     return 
  67.     "* Need careful evaluation of why maps are re-executed. n" +
  68.       "  * It could be due to some set of unstable cluster nodes.n" +
  69.       "  * It could be due application specific failures.";
  70.   }
  71.   /* (non-Javadoc)
  72.    * @see org.apache.hadoop.contrib.utils.perfadvisor.diagnostic_rules.DiagnosticRule#getReferenceDetails()
  73.    */
  74.   @Override
  75.   public String getReferenceDetails() {
  76.     String ref = "* Total Map Tasks: "+this._job.getLongValue(JobKeys.TOTAL_MAPS)+"n"+
  77.                  "* Launched Map Tasks: "+this._job.getLongValue(JobKeys.LAUNCHED_MAPS)+"n"+
  78.                  "* Percent Maps ReExecuted: "+this._percentMapsReExecuted+"n"+
  79.                  "* Impact: "+truncate(this._impact);
  80.     return ref;
  81.   }
  82. }