FileChecksumServlets.java
上传用户:quxuerui
上传日期:2018-01-08
资源大小:41811k
文件大小:4k
源码类别:

网格计算

开发平台:

Java

  1. /**
  2.  * Licensed to the Apache Software Foundation (ASF) under one
  3.  * or more contributor license agreements.  See the NOTICE file
  4.  * distributed with this work for additional information
  5.  * regarding copyright ownership.  The ASF licenses this file
  6.  * to you under the Apache License, Version 2.0 (the
  7.  * "License"); you may not use this file except in compliance
  8.  * with the License.  You may obtain a copy of the License at
  9.  *
  10.  *     http://www.apache.org/licenses/LICENSE-2.0
  11.  *
  12.  * Unless required by applicable law or agreed to in writing, software
  13.  * distributed under the License is distributed on an "AS IS" BASIS,
  14.  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15.  * See the License for the specific language governing permissions and
  16.  * limitations under the License.
  17.  */
  18. package org.apache.hadoop.hdfs.server.namenode;
  19. import java.io.IOException;
  20. import java.io.PrintWriter;
  21. import java.net.URI;
  22. import java.net.URISyntaxException;
  23. import javax.net.SocketFactory;
  24. import javax.servlet.ServletContext;
  25. import javax.servlet.ServletException;
  26. import javax.servlet.http.HttpServletRequest;
  27. import javax.servlet.http.HttpServletResponse;
  28. import org.apache.hadoop.conf.Configuration;
  29. import org.apache.hadoop.fs.MD5MD5CRC32FileChecksum;
  30. import org.apache.hadoop.hdfs.DFSClient;
  31. import org.apache.hadoop.hdfs.protocol.ClientProtocol;
  32. import org.apache.hadoop.hdfs.protocol.DatanodeID;
  33. import org.apache.hadoop.hdfs.protocol.FSConstants;
  34. import org.apache.hadoop.hdfs.server.common.HdfsConstants;
  35. import org.apache.hadoop.hdfs.server.datanode.DataNode;
  36. import org.apache.hadoop.ipc.RemoteException;
  37. import org.apache.hadoop.net.NetUtils;
  38. import org.apache.hadoop.security.UnixUserGroupInformation;
  39. import org.apache.hadoop.security.UserGroupInformation;
  40. import org.znerd.xmlenc.XMLOutputter;
  41. /** Servlets for file checksum */
  42. public class FileChecksumServlets {
  43.   /** Redirect file checksum queries to an appropriate datanode. */
  44.   public static class RedirectServlet extends DfsServlet {
  45.     /** For java.io.Serializable */
  46.     private static final long serialVersionUID = 1L;
  47.   
  48.     /** {@inheritDoc} */
  49.     public void doGet(HttpServletRequest request, HttpServletResponse response
  50.         ) throws ServletException, IOException {
  51.       final UserGroupInformation ugi = getUGI(request);
  52.       final ServletContext context = getServletContext();
  53.       final NameNode namenode = (NameNode)context.getAttribute("name.node");
  54.       final DatanodeID datanode = namenode.namesystem.getRandomDatanode();
  55.       try {
  56.         final URI uri = createRedirectUri("/getFileChecksum", ugi, datanode, request); 
  57.         response.sendRedirect(uri.toURL().toString());
  58.       } catch(URISyntaxException e) {
  59.         throw new ServletException(e); 
  60.         //response.getWriter().println(e.toString());
  61.       } catch (IOException e) {
  62.         response.sendError(400, e.getMessage());
  63.       }
  64.     }
  65.   }
  66.   
  67.   /** Get FileChecksum */
  68.   public static class GetServlet extends DfsServlet {
  69.     /** For java.io.Serializable */
  70.     private static final long serialVersionUID = 1L;
  71.     
  72.     /** {@inheritDoc} */
  73.     public void doGet(HttpServletRequest request, HttpServletResponse response
  74.         ) throws ServletException, IOException {
  75.       final UnixUserGroupInformation ugi = getUGI(request);
  76.       final PrintWriter out = response.getWriter();
  77.       final String filename = getFilename(request, response);
  78.       final XMLOutputter xml = new XMLOutputter(out, "UTF-8");
  79.       xml.declaration();
  80.       final Configuration conf = new Configuration(DataNode.getDataNode().getConf());
  81.       final int socketTimeout = conf.getInt("dfs.socket.timeout", HdfsConstants.READ_TIMEOUT);
  82.       final SocketFactory socketFactory = NetUtils.getSocketFactory(conf, ClientProtocol.class);
  83.       UnixUserGroupInformation.saveToConf(conf,
  84.           UnixUserGroupInformation.UGI_PROPERTY_NAME, ugi);
  85.       final ClientProtocol nnproxy = DFSClient.createNamenode(conf);
  86.       try {
  87.         final MD5MD5CRC32FileChecksum checksum = DFSClient.getFileChecksum(
  88.             filename, nnproxy, socketFactory, socketTimeout);
  89.         MD5MD5CRC32FileChecksum.write(xml, checksum);
  90.       } catch(IOException ioe) {
  91.         new RemoteException(ioe.getClass().getName(), ioe.getMessage()
  92.             ).writeXml(filename, xml);
  93.       }
  94.       xml.endDocument();
  95.     }
  96.   }
  97. }