TestBloomMapFile.java
上传用户:quxuerui
上传日期:2018-01-08
资源大小:41811k
文件大小:2k
源码类别:

网格计算

开发平台:

Java

  1. /**
  2.  * Licensed to the Apache Software Foundation (ASF) under one
  3.  * or more contributor license agreements.  See the NOTICE file
  4.  * distributed with this work for additional information
  5.  * regarding copyright ownership.  The ASF licenses this file
  6.  * to you under the Apache License, Version 2.0 (the
  7.  * "License"); you may not use this file except in compliance
  8.  * with the License.  You may obtain a copy of the License at
  9.  *
  10.  *     http://www.apache.org/licenses/LICENSE-2.0
  11.  *
  12.  * Unless required by applicable law or agreed to in writing, software
  13.  * distributed under the License is distributed on an "AS IS" BASIS,
  14.  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15.  * See the License for the specific language governing permissions and
  16.  * limitations under the License.
  17.  */
  18. package org.apache.hadoop.io;
  19. import org.apache.hadoop.conf.Configuration;
  20. import org.apache.hadoop.fs.FileSystem;
  21. import org.apache.hadoop.fs.Path;
  22. import junit.framework.TestCase;
  23. public class TestBloomMapFile extends TestCase {
  24.   private static Configuration conf = new Configuration();
  25.   
  26.   public void testMembershipTest() throws Exception {
  27.     // write the file
  28.     Path dirName = new Path(System.getProperty("test.build.data",".") +
  29.         getName() + ".bloommapfile"); 
  30.     FileSystem fs = FileSystem.getLocal(conf);
  31.     Path qualifiedDirName = fs.makeQualified(dirName);
  32.     conf.setInt("io.mapfile.bloom.size", 2048);
  33.     BloomMapFile.Writer writer = new BloomMapFile.Writer(conf, fs,
  34.       qualifiedDirName.toString(), IntWritable.class, Text.class);
  35.     IntWritable key = new IntWritable();
  36.     Text value = new Text();
  37.     for (int i = 0; i < 2000; i += 2) {
  38.       key.set(i);
  39.       value.set("00" + i);
  40.       writer.append(key, value);
  41.     }
  42.     writer.close();
  43.     
  44.     BloomMapFile.Reader reader = new BloomMapFile.Reader(fs,
  45.         qualifiedDirName.toString(), conf);
  46.     // check false positives rate
  47.     int falsePos = 0;
  48.     int falseNeg = 0;
  49.     for (int i = 0; i < 2000; i++) {
  50.       key.set(i);
  51.       boolean exists = reader.probablyHasKey(key);
  52.       if (i % 2 == 0) {
  53.         if (!exists) falseNeg++;
  54.       } else {
  55.         if (exists) falsePos++;
  56.       }
  57.     }
  58.     reader.close();
  59.     fs.delete(qualifiedDirName, true);
  60.     System.out.println("False negatives: " + falseNeg);
  61.     assertEquals(0, falseNeg);
  62.     System.out.println("False positives: " + falsePos);
  63.     assertTrue(falsePos < 2);
  64.   }
  65. }