开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Internet/网络编程 > 网格计算 > 查看源码
hadoop-ec2-init-remote.sh
资源名称：hadoop-0.20.0.tar.gz　[点击查看]
上传用户：quxuerui
上传日期：2018-01-08
资源大小：41811k
文件大小：4k
源码类别：

网格计算

开发平台：

Java

hadoop-ec2-init-remote.sh：源码内容
  1. #!/usr/bin/env bash
  3. ################################################################################
  4. # Script that is run on each EC2 instance on boot. It is passed in the EC2 user
  5. # data, so should not exceed 16K in size.
  6. ################################################################################
  8. ################################################################################
  9. # Initialize variables
  10. ################################################################################
  12. # Slaves are started after the master, and are told its address by sending a
  13. # modified copy of this file which sets the MASTER_HOST variable. 
  14. # A node  knows if it is the master or not by inspecting the security group
  15. # name. If it is the master then it retrieves its address using instance data.
  16. MASTER_HOST=%MASTER_HOST% # Interpolated before being sent to EC2 node
  17. SECURITY_GROUPS=`wget -q -O - http://169.254.169.254/latest/meta-data/security-groups`
  18. IS_MASTER=`echo $SECURITY_GROUPS | awk '{ a = match ($0, "-master$"); if (a) print "true"; else print "false"; }'`
  19. if [ "$IS_MASTER" == "true" ]; then
  20.  MASTER_HOST=`wget -q -O - http://169.254.169.254/latest/meta-data/local-hostname`
  21. fi
  23. HADOOP_HOME=`ls -d /usr/local/hadoop-*`
  25. ################################################################################
  26. # Hadoop configuration
  27. # Modify this section to customize your Hadoop cluster.
  28. ################################################################################
  30. cat > $HADOOP_HOME/conf/hadoop-site.xml <<EOF
  31. <?xml version="1.0"?>
  32. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  34. <configuration>
  36. <property>
  37.   <name>hadoop.tmp.dir</name>
  38.   <value>/mnt/hadoop</value>
  39. </property>
  41. <property>
  42.   <name>fs.default.name</name>
  43.   <value>hdfs://$MASTER_HOST:50001</value>
  44. </property>
  46. <property>
  47.   <name>mapred.job.tracker</name>
  48.   <value>hdfs://$MASTER_HOST:50002</value>
  49. </property>
  51. <property>
  52.   <name>tasktracker.http.threads</name>
  53.   <value>80</value>
  54. </property>
  56. <property>
  57.   <name>mapred.tasktracker.map.tasks.maximum</name>
  58.   <value>3</value>
  59. </property>
  61. <property>
  62.   <name>mapred.tasktracker.reduce.tasks.maximum</name>
  63.   <value>3</value>
  64. </property>
  66. <property>
  67.   <name>mapred.output.compress</name>
  68.   <value>true</value>
  69. </property>
  71. <property>
  72.   <name>mapred.output.compression.type</name>
  73.   <value>BLOCK</value>
  74. </property>
  76. <property>
  77.   <name>dfs.client.block.write.retries</name>
  78.   <value>3</value>
  79. </property>
  81. </configuration>
  82. EOF
  84. # Configure Hadoop for Ganglia
  85. # overwrite hadoop-metrics.properties
  86. cat > $HADOOP_HOME/conf/hadoop-metrics.properties <<EOF
  88. # Ganglia
  89. # we push to the master gmond so hostnames show up properly
  90. dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext
  91. dfs.period=10
  92. dfs.servers=$MASTER_HOST:8649
  94. mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext
  95. mapred.period=10
  96. mapred.servers=$MASTER_HOST:8649
  98. jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext
  99. jvm.period=10
  100. jvm.servers=$MASTER_HOST:8649
  101. EOF
  103. ################################################################################
  104. # Start services
  105. ################################################################################
  107. [ ! -f /etc/hosts ] &&  echo "127.0.0.1 localhost" > /etc/hosts
  109. mkdir -p /mnt/hadoop/logs
  111. # not set on boot
  112. export USER="root"
  114. if [ "$IS_MASTER" == "true" ]; then
  115.   # MASTER
  116.   # Prep Ganglia
  117.   sed -i -e "s|( *mcast_join *=.*)|#1|" 
  118.          -e "s|( *bind *=.*)|#1|" 
  119.          -e "s|( *mute *=.*)|  mute = yes|" 
  120.          -e "s|( *location *=.*)|  location = "master-node"|" 
  121.          /etc/gmond.conf
  122.   mkdir -p /mnt/ganglia/rrds
  123.   chown -R ganglia:ganglia /mnt/ganglia/rrds
  124.   rm -rf /var/lib/ganglia; cd /var/lib; ln -s /mnt/ganglia ganglia; cd
  125.   service gmond start
  126.   service gmetad start
  127.   apachectl start
  129.   # Hadoop
  130.   # only format on first boot
  131.   [ ! -e /mnt/hadoop/dfs ] && "$HADOOP_HOME"/bin/hadoop namenode -format
  133.   "$HADOOP_HOME"/bin/hadoop-daemon.sh start namenode
  134.   "$HADOOP_HOME"/bin/hadoop-daemon.sh start jobtracker
  135. else
  136.   # SLAVE
  137.   # Prep Ganglia
  138.   sed -i -e "s|( *mcast_join *=.*)|#1|" 
  139.          -e "s|( *bind *=.*)|#1|" 
  140.          -e "s|(udp_send_channel {)|1n  host=$MASTER_HOST|" 
  141.          /etc/gmond.conf
  142.   service gmond start
  144.   # Hadoop
  145.   "$HADOOP_HOME"/bin/hadoop-daemon.sh start datanode
  146.   "$HADOOP_HOME"/bin/hadoop-daemon.sh start tasktracker
  147. fi
  149. # Run this script on next boot
  150. rm -f /var/ec2/ec2-run-user-data.*