SequenceFileRecordReader.java
上传用户:quxuerui
上传日期:2018-01-08
资源大小:41811k
文件大小:4k
源码类别:

网格计算

开发平台:

Java

  1. /**
  2.  * Licensed to the Apache Software Foundation (ASF) under one
  3.  * or more contributor license agreements.  See the NOTICE file
  4.  * distributed with this work for additional information
  5.  * regarding copyright ownership.  The ASF licenses this file
  6.  * to you under the Apache License, Version 2.0 (the
  7.  * "License"); you may not use this file except in compliance
  8.  * with the License.  You may obtain a copy of the License at
  9.  *
  10.  *     http://www.apache.org/licenses/LICENSE-2.0
  11.  *
  12.  * Unless required by applicable law or agreed to in writing, software
  13.  * distributed under the License is distributed on an "AS IS" BASIS,
  14.  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15.  * See the License for the specific language governing permissions and
  16.  * limitations under the License.
  17.  */
  18. package org.apache.hadoop.mapred;
  19. import java.io.IOException;
  20. import org.apache.hadoop.conf.Configuration;
  21. import org.apache.hadoop.fs.FileSystem;
  22. import org.apache.hadoop.fs.Path;
  23. import org.apache.hadoop.io.*;
  24. import org.apache.hadoop.util.ReflectionUtils;
  25. /** An {@link RecordReader} for {@link SequenceFile}s. */
  26. public class SequenceFileRecordReader<K, V> implements RecordReader<K, V> {
  27.   
  28.   private SequenceFile.Reader in;
  29.   private long start;
  30.   private long end;
  31.   private boolean more = true;
  32.   protected Configuration conf;
  33.   public SequenceFileRecordReader(Configuration conf, FileSplit split)
  34.     throws IOException {
  35.     Path path = split.getPath();
  36.     FileSystem fs = path.getFileSystem(conf);
  37.     this.in = new SequenceFile.Reader(fs, path, conf);
  38.     this.end = split.getStart() + split.getLength();
  39.     this.conf = conf;
  40.     if (split.getStart() > in.getPosition())
  41.       in.sync(split.getStart());                  // sync to start
  42.     this.start = in.getPosition();
  43.     more = start < end;
  44.   }
  45.   /** The class of key that must be passed to {@link
  46.    * #next(Object, Object)}.. */
  47.   public Class getKeyClass() { return in.getKeyClass(); }
  48.   /** The class of value that must be passed to {@link
  49.    * #next(Object, Object)}.. */
  50.   public Class getValueClass() { return in.getValueClass(); }
  51.   
  52.   @SuppressWarnings("unchecked")
  53.   public K createKey() {
  54.     return (K) ReflectionUtils.newInstance(getKeyClass(), conf);
  55.   }
  56.   
  57.   @SuppressWarnings("unchecked")
  58.   public V createValue() {
  59.     return (V) ReflectionUtils.newInstance(getValueClass(), conf);
  60.   }
  61.     
  62.   public synchronized boolean next(K key, V value) throws IOException {
  63.     if (!more) return false;
  64.     long pos = in.getPosition();
  65.     boolean remaining = (in.next(key) != null);
  66.     if (remaining) {
  67.       getCurrentValue(value);
  68.     }
  69.     if (pos >= end && in.syncSeen()) {
  70.       more = false;
  71.     } else {
  72.       more = remaining;
  73.     }
  74.     return more;
  75.   }
  76.   
  77.   protected synchronized boolean next(K key)
  78.     throws IOException {
  79.     if (!more) return false;
  80.     long pos = in.getPosition();
  81.     boolean remaining = (in.next(key) != null);
  82.     if (pos >= end && in.syncSeen()) {
  83.       more = false;
  84.     } else {
  85.       more = remaining;
  86.     }
  87.     return more;
  88.   }
  89.   
  90.   protected synchronized void getCurrentValue(V value)
  91.     throws IOException {
  92.     in.getCurrentValue(value);
  93.   }
  94.   
  95.   /**
  96.    * Return the progress within the input split
  97.    * @return 0.0 to 1.0 of the input byte range
  98.    */
  99.   public float getProgress() throws IOException {
  100.     if (end == start) {
  101.       return 0.0f;
  102.     } else {
  103.       return Math.min(1.0f, (in.getPosition() - start) / (float)(end - start));
  104.     }
  105.   }
  106.   
  107.   public synchronized long getPos() throws IOException {
  108.     return in.getPosition();
  109.   }
  110.   
  111.   protected synchronized void seek(long pos) throws IOException {
  112.     in.seek(pos);
  113.   }
  114.   public synchronized void close() throws IOException { in.close(); }
  115.   
  116. }