README
上传用户:quxuerui
上传日期:2018-01-08
资源大小:41811k
文件大小:2k
源码类别:

网格计算

开发平台:

Java

  1. This contrib package provides a utility to build or update an index
  2. using Map/Reduce.
  3. A distributed "index" is partitioned into "shards". Each shard corresponds
  4. to a Lucene instance. org.apache.hadoop.contrib.index.main.UpdateIndex
  5. contains the main() method which uses a Map/Reduce job to analyze documents
  6. and update Lucene instances in parallel.
  7. The Map phase of the Map/Reduce job formats, analyzes and parses the input
  8. (in parallel), while the Reduce phase collects and applies the updates to
  9. each Lucene instance (again in parallel). The updates are applied using the
  10. local file system where a Reduce task runs and then copied back to HDFS.
  11. For example, if the updates caused a new Lucene segment to be created, the
  12. new segment would be created on the local file system first, and then
  13. copied back to HDFS.
  14. When the Map/Reduce job completes, a "new version" of the index is ready
  15. to be queried. It is important to note that the new version of the index
  16. is not derived from scratch. By leveraging Lucene's update algorithm, the
  17. new version of each Lucene instance will share as many files as possible
  18. as the previous version.
  19. The main() method in UpdateIndex requires the following information for
  20. updating the shards:
  21.   - Input formatter. This specifies how to format the input documents.
  22.   - Analysis. This defines the analyzer to use on the input. The analyzer
  23.     determines whether a document is being inserted, updated, or deleted.
  24.     For inserts or updates, the analyzer also converts each input document
  25.     into a Lucene document.
  26.   - Input paths. This provides the location(s) of updated documents,
  27.     e.g., HDFS files or directories, or HBase tables.
  28.   - Shard paths, or index path with the number of shards. Either specify
  29.     the path for each shard, or specify an index path and the shards are
  30.     the sub-directories of the index directory.
  31.   - Output path. When the update to a shard is done, a message is put here.
  32.   - Number of map tasks.
  33. All of the information can be specified in a configuration file. All but
  34. the first two can also be specified as command line options. Check out
  35. conf/index-config.xml.template for other configurable parameters.
  36. Note: Because of the parallel nature of Map/Reduce, the behaviour of
  37. multiple inserts, deletes or updates to the same document is undefined.