TestMultipleInputs.java
上传用户:quxuerui
上传日期:2018-01-08
资源大小:41811k
文件大小:3k
源码类别:

网格计算

开发平台:

Java

  1. /**
  2.  * Licensed to the Apache Software Foundation (ASF) under one
  3.  * or more contributor license agreements.  See the NOTICE file
  4.  * distributed with this work for additional information
  5.  * regarding copyright ownership.  The ASF licenses this file
  6.  * to you under the Apache License, Version 2.0 (the
  7.  * "License"); you may not use this file except in compliance
  8.  * with the License.  You may obtain a copy of the License at
  9.  *
  10.  *     http://www.apache.org/licenses/LICENSE-2.0
  11.  *
  12.  * Unless required by applicable law or agreed to in writing, software
  13.  * distributed under the License is distributed on an "AS IS" BASIS,
  14.  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15.  * See the License for the specific language governing permissions and
  16.  * limitations under the License.
  17.  */
  18. package org.apache.hadoop.mapred.lib;
  19. import java.io.IOException;
  20. import java.util.Map;
  21. import junit.framework.TestCase;
  22. import org.apache.hadoop.fs.Path;
  23. import org.apache.hadoop.mapred.InputFormat;
  24. import org.apache.hadoop.mapred.JobConf;
  25. import org.apache.hadoop.mapred.KeyValueTextInputFormat;
  26. import org.apache.hadoop.mapred.Mapper;
  27. import org.apache.hadoop.mapred.OutputCollector;
  28. import org.apache.hadoop.mapred.Reporter;
  29. import org.apache.hadoop.mapred.TextInputFormat;
  30. /**
  31.  * @see TestDelegatingInputFormat
  32.  */
  33. public class TestMultipleInputs extends TestCase {
  34.   
  35.   public void testAddInputPathWithFormat() {
  36.     final JobConf conf = new JobConf();
  37.     MultipleInputs.addInputPath(conf, new Path("/foo"), TextInputFormat.class);
  38.     MultipleInputs.addInputPath(conf, new Path("/bar"),
  39.         KeyValueTextInputFormat.class);
  40.     final Map<Path, InputFormat> inputs = MultipleInputs
  41.        .getInputFormatMap(conf);
  42.     assertEquals(TextInputFormat.class, inputs.get(new Path("/foo")).getClass());
  43.     assertEquals(KeyValueTextInputFormat.class, inputs.get(new Path("/bar"))
  44.        .getClass());
  45.   }
  46.   public void testAddInputPathWithMapper() {
  47.     final JobConf conf = new JobConf();
  48.     MultipleInputs.addInputPath(conf, new Path("/foo"), TextInputFormat.class,
  49.        MapClass.class);
  50.     MultipleInputs.addInputPath(conf, new Path("/bar"),
  51.        KeyValueTextInputFormat.class, MapClass2.class);
  52.     final Map<Path, InputFormat> inputs = MultipleInputs
  53.        .getInputFormatMap(conf);
  54.     final Map<Path, Class<? extends Mapper>> maps = MultipleInputs
  55.        .getMapperTypeMap(conf);
  56.     assertEquals(TextInputFormat.class, inputs.get(new Path("/foo")).getClass());
  57.     assertEquals(KeyValueTextInputFormat.class, inputs.get(new Path("/bar"))
  58.        .getClass());
  59.     assertEquals(MapClass.class, maps.get(new Path("/foo")));
  60.     assertEquals(MapClass2.class, maps.get(new Path("/bar")));
  61.   }
  62.   static class MapClass implements Mapper<String, String, String, String> {
  63.     public void map(String key, String value,
  64.        OutputCollector<String, String> output, Reporter reporter)
  65.        throws IOException {
  66.     }
  67.     public void configure(JobConf job) {
  68.     }
  69.     public void close() throws IOException {
  70.     }
  71.   }
  72.   static class MapClass2 extends MapClass {
  73.   }
  74. }