config.txt
上传用户:quxuerui
上传日期:2018-01-08
资源大小:41811k
文件大小:7k
源码类别:

网格计算

开发平台:

Java

  1.                      HOD Configuration
  2.                      =================
  3. 1. Introduction:
  4. ================
  5. Configuration options for HOD are organized as sections and options 
  6. within them. They can be specified in two ways: a configuration file 
  7. in the INI format, and as command line options to the HOD shell, 
  8. specified in the format --section.option[=value]. If the same option is 
  9. specified in both places, the value specified on the command line 
  10. overrides the value in the configuration file.
  11. To get a simple description of all configuration options, you can type
  12.     hod --verbose-help
  13. This document explains some of the most important or commonly used
  14. configuration options in some more detail.
  15. 2. Sections:
  16. ============
  17. The following are the various sections in the HOD configuration:
  18.     * hod:                  Options for the HOD client
  19.     * resource_manager:     Options for specifying which resource 
  20.                             manager to use, and other parameters for 
  21.                             using that resource manager
  22.     * ringmaster:           Options for the RingMaster process, 
  23.     * hodring:              Options for the HodRing processes
  24.     * gridservice-mapred:   Options for the MapReduce daemons
  25.     * gridservice-hdfs:     Options for the HDFS daemons.
  26. The following are some of the important options in the HOD 
  27. configuration:
  28. 3. Important / Commonly Used Configuration Options:
  29. ===================================================
  30. 3.1. Common configuration options:
  31. ----------------------------------
  32. Certain configuration options are defined in most of the sections of 
  33. the HOD configuration. Options defined in a section, are used by the
  34. process for which that section applies. These options have the same
  35. meaning, but can have different values in each section.
  36. * temp-dir: Temporary directory for usage by the HOD processes. Make 
  37.             sure that the users who will run hod have rights to create 
  38.             directories under the directory specified here.
  39. * debug: A numeric value from 1-4. 4 produces the most log information,
  40.          and 1 the least.
  41. * log-dir: Directory where log files are stored. By default, this is
  42.            <install-location>/logs/. The restrictions and notes for the
  43.            temp-dir variable apply here too.
  44. * xrs-port-range: A range of ports, among which an available port shall
  45.                   be picked for use to run an XML-RPC server.
  46. * http-port-range: A range of ports, among which an available port shall
  47.                    be picked for use to run an HTTP server.
  48. * java-home: Location of Java to be used by Hadoop.
  49. 3.2 hod options:
  50. ----------------
  51. * cluster: A descriptive name given to the cluster. For Torque, this is
  52.            specified as a 'Node property' for every node in the cluster.
  53.            HOD uses this value to compute the number of available nodes.
  54. * client-params: A comma-separated list of hadoop config parameters
  55.                  specified as key-value pairs. These will be used to
  56.                  generate a hadoop-site.xml on the submit node that 
  57.                  should be used for running MapReduce jobs.
  58. 3.3 resource_manager options:
  59. -----------------------------
  60. * queue: Name of the queue configured in the resource manager to which
  61.          jobs are to be submitted.
  62. * batch-home: Install directory to which 'bin' is appended and under 
  63.               which the executables of the resource manager can be 
  64.               found. 
  65. * env-vars: This is a comma separated list of key-value pairs, 
  66.             expressed as key=value, which would be passed to the jobs 
  67.             launched on the compute nodes. 
  68.             For example, if the python installation is 
  69.             in a non-standard location, one can set the environment
  70.             variable 'HOD_PYTHON_HOME' to the path to the python 
  71.             executable. The HOD processes launched on the compute nodes
  72.             can then use this variable.
  73. 3.4 ringmaster options:
  74. -----------------------
  75. * work-dirs: These are a list of comma separated paths that will serve
  76.              as the root for directories that HOD generates and passes
  77.              to Hadoop for use to store DFS / MapReduce data. For e.g.
  78.              this is where DFS data blocks will be stored. Typically,
  79.              as many paths are specified as there are disks available
  80.              to ensure all disks are being utilized. The restrictions
  81.              and notes for the temp-dir variable apply here too.
  82. 3.5 gridservice-hdfs options:
  83. -----------------------------
  84. * external: If false, this indicates that a HDFS cluster must be 
  85.             bought up by the HOD system, on the nodes which it 
  86.             allocates via the allocate command. Note that in that case,
  87.             when the cluster is de-allocated, it will bring down the 
  88.             HDFS cluster, and all the data will be lost.
  89.             If true, it will try and connect to an externally configured
  90.             HDFS system.
  91.             Typically, because input for jobs are placed into HDFS
  92.             before jobs are run, and also the output from jobs in HDFS 
  93.             is required to be persistent, an internal HDFS cluster is 
  94.             of little value in a production system. However, it allows 
  95.             for quick testing.
  96. * host: Hostname of the externally configured NameNode, if any
  97. * fs_port: Port to which NameNode RPC server is bound.
  98. * info_port: Port to which the NameNode web UI server is bound.
  99. * pkgs: Installation directory, under which bin/hadoop executable is 
  100.         located. This can be used to use a pre-installed version of
  101.         Hadoop on the cluster.
  102. * server-params: A comma-separated list of hadoop config parameters
  103.                  specified key-value pairs. These will be used to
  104.                  generate a hadoop-site.xml that will be used by the
  105.                  NameNode and DataNodes.
  106. * final-server-params: Same as above, except they will be marked final.
  107. 3.6 gridservice-mapred options:
  108. -------------------------------
  109. * external: If false, this indicates that a MapReduce cluster must be
  110.             bought up by the HOD system on the nodes which it allocates
  111.             via the allocate command.
  112.             If true, if will try and connect to an externally 
  113.             configured MapReduce system.
  114. * host: Hostname of the externally configured JobTracker, if any
  115. * tracker_port: Port to which the JobTracker RPC server is bound
  116. * info_port: Port to which the JobTracker web UI server is bound.
  117. * pkgs: Installation directory, under which bin/hadoop executable is 
  118.         located
  119. * server-params: A comma-separated list of hadoop config parameters
  120.                  specified key-value pairs. These will be used to
  121.                  generate a hadoop-site.xml that will be used by the
  122.                  JobTracker and TaskTrackers
  123. * final-server-params: Same as above, except they will be marked final.
  124. 4. Known Issues:
  125. ================
  126. HOD does not currently handle special characters such as space, comma
  127. and equals in configuration values.