OutputFormat.java
上传用户:quxuerui
上传日期:2018-01-08
资源大小:41811k
文件大小:3k
源码类别:

网格计算

开发平台:

Java

  1. /**
  2.  * Licensed to the Apache Software Foundation (ASF) under one
  3.  * or more contributor license agreements.  See the NOTICE file
  4.  * distributed with this work for additional information
  5.  * regarding copyright ownership.  The ASF licenses this file
  6.  * to you under the Apache License, Version 2.0 (the
  7.  * "License"); you may not use this file except in compliance
  8.  * with the License.  You may obtain a copy of the License at
  9.  *
  10.  *     http://www.apache.org/licenses/LICENSE-2.0
  11.  *
  12.  * Unless required by applicable law or agreed to in writing, software
  13.  * distributed under the License is distributed on an "AS IS" BASIS,
  14.  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15.  * See the License for the specific language governing permissions and
  16.  * limitations under the License.
  17.  */
  18. package org.apache.hadoop.mapreduce;
  19. import java.io.IOException;
  20. import org.apache.hadoop.fs.FileSystem;
  21. /** 
  22.  * <code>OutputFormat</code> describes the output-specification for a 
  23.  * Map-Reduce job.
  24.  *
  25.  * <p>The Map-Reduce framework relies on the <code>OutputFormat</code> of the
  26.  * job to:<p>
  27.  * <ol>
  28.  *   <li>
  29.  *   Validate the output-specification of the job. For e.g. check that the 
  30.  *   output directory doesn't already exist. 
  31.  *   <li>
  32.  *   Provide the {@link RecordWriter} implementation to be used to write out
  33.  *   the output files of the job. Output files are stored in a 
  34.  *   {@link FileSystem}.
  35.  *   </li>
  36.  * </ol>
  37.  * 
  38.  * @see RecordWriter
  39.  */
  40. public abstract class OutputFormat<K, V> {
  41.   /** 
  42.    * Get the {@link RecordWriter} for the given task.
  43.    *
  44.    * @param context the information about the current task.
  45.    * @return a {@link RecordWriter} to write the output for the job.
  46.    * @throws IOException
  47.    */
  48.   public abstract RecordWriter<K, V> 
  49.     getRecordWriter(TaskAttemptContext context
  50.                     ) throws IOException, InterruptedException;
  51.   /** 
  52.    * Check for validity of the output-specification for the job.
  53.    *  
  54.    * <p>This is to validate the output specification for the job when it is
  55.    * a job is submitted.  Typically checks that it does not already exist,
  56.    * throwing an exception when it already exists, so that output is not
  57.    * overwritten.</p>
  58.    *
  59.    * @param context information about the job
  60.    * @throws IOException when output should not be attempted
  61.    */
  62.   public abstract void checkOutputSpecs(JobContext context
  63.                                         ) throws IOException, 
  64.                                                  InterruptedException;
  65.   /**
  66.    * Get the output committer for this output format. This is responsible
  67.    * for ensuring the output is committed correctly.
  68.    * @param context the task context
  69.    * @return an output committer
  70.    * @throws IOException
  71.    * @throws InterruptedException
  72.    */
  73.   public abstract 
  74.   OutputCommitter getOutputCommitter(TaskAttemptContext context
  75.                                      ) throws IOException, InterruptedException;
  76. }