开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Internet/网络编程 > 网格计算 > 查看源码
hadoop-dfs-dir.txt
资源名称：hadoop-0.20.0.tar.gz　[点击查看]
上传用户：quxuerui
上传日期：2018-01-08
资源大小：41811k
文件大小：3k
源码类别：

网格计算

开发平台：

Java

hadoop-dfs-dir.txt：源码内容
  1. #
  2. # This is a readme for hadoop-version-dfs-dir.tgz and hadoop-dfs-dir.txt.
  3. #
  4. # See HADOOP-1629 for more info if needed.
  5. # These two files are used by unit test TestDFSUpgradeFromImage.java 
  6. # 
  7. # hadoop-14-dfs-dir.tgz : 
  8. # ---------------------
  9. # This file contains the HDFS directory structure for one namenode and 4 datanodes.
  10. # The structure is setup similar to the structure used in MiniDFSCluster.
  11. # The directory was created with Hadoo-0.14.x.
  12. #
  13. # In the test, this directory is unpacked and MiniDFSCluster is run with 
  14. # "-upgrade" option. The test waits for the upgrade to complete 
  15. # (leave safe mode) and then all the files are read. The test checks that the
  16. # directory structure and file checksums exactly match the information
  17. # in this file.
  18. #
  19. # hadoop-dfs-dir.txt :
  20. # ---------------------
  21. # Along with this description this file contains the expected files and 
  22. # checksums or the files in the upgraded DFS.
  23. # 
  24. # The original DFS directory was created with various types of files and with
  25. # some recoverable errors (i.e. corrupt or missing .crc files).
  26. #
  27. # A similar set of files exist in two different DFS directories. 
  28. # For e.g. "top-dir-1Mb-512" contains files created with dfs.block.size of 1Mb 
  29. # and io.bytes.per.checksum of 512.
  30. #
  31. # In the future, when Hadoop project no longer supports upgrade from
  32. # Hadoop-0.12, then a new DFS directory image must be created.
  33. #
  34. # To generate checksum info for new files :
  35. # ---------------------------------------
  36. # Uncomment the last coment (starts with "printChecksums") and run the 
  37. # test again. When the test sees this line, it prints the checksum
  38. # information that should replace the checksum information in 
  39. # this file. When run in this mode, the test will fail with a descriptive IOException.
  40. #
  41. # Next, extract the checksum info from the test log like this:
  42. #  sed -n 's/.*CRC info for reference file : //p' test-log.txt >> this_file
  43. # This will append a new list of files and checksums to this file.  Be sure to remove the existing checksum info.
  44. #
  45. # For your reference, the format of the checksum info below is "filename whitespace*twhitespace* checksumn"
  46. #
  47. # Uncomment the following line to produce checksum info for a new DFS image.
  48. #printChecksums
  50. /1kb-multiple-checksum-blocks-64-16   191893480
  51. /top-dir-120000-60/1Mb-file   4079112547
  52. /top-dir-120000-60/4k-file   3716287280
  53. /top-dir-120000-60/5Mb-file   2563834633
  54. /top-dir-120000-60/directory1/500thousand-file   3036538664
  55. /top-dir-120000-60/directory1/file-with-corrupt-crc   1984689737
  56. /top-dir-120000-60/directory1/file-with-no-crc   4004594475
  57. /top-dir-120000-60/directory1/zero1   0
  58. /top-dir-120000-60/zerolen   0
  59. /top-dir-1Mb-512/1Mb-file   4079112547
  60. /top-dir-1Mb-512/4k-file   3716287280
  61. /top-dir-1Mb-512/5Mb-file   2563834633
  62. /top-dir-1Mb-512/directory1/500thousand-file   3036538664
  63. /top-dir-1Mb-512/directory1/file-with-corrupt-crc   1984689737
  64. /top-dir-1Mb-512/directory1/file-with-no-crc   4004594475
  65. /top-dir-1Mb-512/directory1/zero1   0
  66. /top-dir-1Mb-512/zerolen   0
  67. overallCRC   1419480698