README
上传用户:quxuerui
上传日期:2018-01-08
资源大小:41811k
文件大小:4k
源码类别:

网格计算

开发平台:

Java

  1. ****************** FailMon Quick Start Guide ***********************
  2. This document is a guide to quickly setting up and running FailMon.
  3. For more information and details please see the FailMon User Manual.
  4. ***** Building FailMon *****
  5. Normally, FailMon lies under <hadoop-dir>/src/contrib/failmon, where
  6. <hadoop-source-dir> is the Hadoop project root folder. To compile it,
  7. one can either run ant for the whole Hadoop project, i.e.:
  8. $ cd <hadoop-dir>
  9. $ ant
  10. or run ant only for FailMon:
  11. $ cd <hadoop-dir>/src/contrib/failmon
  12. $ ant
  13. The above will compile FailMon and place all class files under
  14. <hadoop-dir>/build/contrib/failmon/classes.
  15. By invoking:
  16. $ cd <hadoop-dir>/src/contrib/failmon
  17. $ ant tar
  18. FailMon is packaged as a standalone jar application in
  19. <hadoop-dir>/src/contrib/failmon/failmon.tar.gz.
  20. ***** Deploying FailMon *****
  21. There are two ways FailMon can be deployed in a cluster:
  22. a) Within Hadoop, in which case the whole Hadoop package is uploaded
  23. to the cluster nodes. In that case, nothing else needs to be done on
  24. individual nodes.
  25. b) Independently of the Hadoop deployment, i.e., by uploading
  26. failmon.tar.gz to all nodes and uncompressing it. In that case, the
  27. bin/failmon.sh script needs to be edited; environment variable
  28. HADOOPDIR should point to the root directory of the Hadoop
  29. distribution. Also the location of the Hadoop configuration files
  30. should be pointed by the property 'hadoop.conf.path' in file
  31. conf/failmon.properties. Note that these files refer to the HDFS in
  32. which we want to store the FailMon data (which can potentially be
  33. different than the one on the cluster we are monitoring).
  34. We assume that either way FailMon is placed in the same directory on
  35. all nodes, which is typical for most clusters. If this is not
  36. feasible, one should create the same symbolic link on all nodes of the
  37. cluster, that points to the FailMon directory of each node.
  38. One should also edit the conf/failmon.properties file on each node to
  39. set his own property values. However, the default values are expected
  40. to serve most practical cases. Refer to the FailMon User Manual about
  41. the various properties and configuration parameters.
  42. ***** Running FailMon *****
  43. In order to run FailMon using a node to do the ad-hoc scheduling of
  44. monitoring jobs, one needs edit the hosts.list file to specify the
  45. list of machine hostnames on which FailMon is to be run. Also, in file
  46. conf/global.config the username used to connect to the machines has to
  47. be specified (passwordless SSH is assumed) in property 'ssh.username'.
  48. In property 'failmon.dir', the path to the FailMon folder has to be
  49. specified as well (it is assumed to be the same on all machines in the
  50. cluster). Then one only needs to invoke the command:
  51. $ cd <hadoop-dir>
  52. $ bin/scheduler.py
  53. to start the system.
  54. ***** Merging HDFS files *****
  55. For the purpose of merging the files created on HDFS by FailMon, the
  56. following command can be used:
  57. $ cd <hadoop-dir>
  58. $ bin/failmon.sh --mergeFiles
  59. This will concatenate all files in the HDFS folder (pointed to by the
  60. 'hdfs.upload.dir' property in conf/failmon.properties file) into a
  61. single file, which will be placed in the same folder. Also the
  62. location of the Hadoop configuration files should be pointed by the
  63. property 'hadoop.conf.path' in file conf/failmon.properties. Note that
  64. these files refer to the HDFS in which have stored the FailMon data
  65. (which can potentially be different than the one on the cluster we are
  66. monitoring). Also, the scheduler.py script can be set up to merge the
  67. HDFS files when their number surpasses a configurable limit (see
  68. 'conf/global.config' file).
  69. Please refer to the FailMon User Manual for more details.