ListPathsServlet.java
上传用户:quxuerui
上传日期:2018-01-08
资源大小:41811k
文件大小:6k
源码类别:

网格计算

开发平台:

Java

  1. /**
  2.  * Licensed to the Apache Software Foundation (ASF) under one
  3.  * or more contributor license agreements.  See the NOTICE file
  4.  * distributed with this work for additional information
  5.  * regarding copyright ownership.  The ASF licenses this file
  6.  * to you under the Apache License, Version 2.0 (the
  7.  * "License"); you may not use this file except in compliance
  8.  * with the License.  You may obtain a copy of the License at
  9.  *
  10.  *     http://www.apache.org/licenses/LICENSE-2.0
  11.  *
  12.  * Unless required by applicable law or agreed to in writing, software
  13.  * distributed under the License is distributed on an "AS IS" BASIS,
  14.  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15.  * See the License for the specific language governing permissions and
  16.  * limitations under the License.
  17.  */
  18. package org.apache.hadoop.hdfs.server.namenode;
  19. import org.apache.hadoop.fs.FileStatus;
  20. import org.apache.hadoop.hdfs.protocol.ClientProtocol;
  21. import org.apache.hadoop.ipc.RemoteException;
  22. import org.apache.hadoop.security.UnixUserGroupInformation;
  23. import org.apache.hadoop.util.VersionInfo;
  24. import org.znerd.xmlenc.*;
  25. import java.io.IOException;
  26. import java.io.PrintWriter;
  27. import java.text.SimpleDateFormat;
  28. import java.util.Date;
  29. import java.util.HashMap;
  30. import java.util.Map;
  31. import java.util.Stack;
  32. import java.util.TimeZone;
  33. import java.util.regex.Pattern;
  34. import java.util.regex.PatternSyntaxException;
  35. import javax.servlet.ServletException;
  36. import javax.servlet.http.HttpServletRequest;
  37. import javax.servlet.http.HttpServletResponse;
  38. /**
  39.  * Obtain meta-information about a filesystem.
  40.  * @see org.apache.hadoop.hdfs.HftpFileSystem
  41.  */
  42. public class ListPathsServlet extends DfsServlet {
  43.   /** For java.io.Serializable */
  44.   private static final long serialVersionUID = 1L;
  45.   public static final SimpleDateFormat df =
  46.     new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ssZ");
  47.   static {
  48.     df.setTimeZone(TimeZone.getTimeZone("UTC"));
  49.   }
  50.   /**
  51.    * Write a node to output.
  52.    * Node information includes path, modification, permission, owner and group.
  53.    * For files, it also includes size, replication and block-size. 
  54.    */
  55.   static void writeInfo(FileStatus i, XMLOutputter doc) throws IOException {
  56.     doc.startTag(i.isDir() ? "directory" : "file");
  57.     doc.attribute("path", i.getPath().toUri().getPath());
  58.     doc.attribute("modified", df.format(new Date(i.getModificationTime())));
  59.     doc.attribute("accesstime", df.format(new Date(i.getAccessTime())));
  60.     if (!i.isDir()) {
  61.       doc.attribute("size", String.valueOf(i.getLen()));
  62.       doc.attribute("replication", String.valueOf(i.getReplication()));
  63.       doc.attribute("blocksize", String.valueOf(i.getBlockSize()));
  64.     }
  65.     doc.attribute("permission", (i.isDir()? "d": "-") + i.getPermission());
  66.     doc.attribute("owner", i.getOwner());
  67.     doc.attribute("group", i.getGroup());
  68.     doc.endTag();
  69.   }
  70.   /**
  71.    * Build a map from the query string, setting values and defaults.
  72.    */
  73.   protected Map<String,String> buildRoot(HttpServletRequest request,
  74.       XMLOutputter doc) {
  75.     final String path = request.getPathInfo() != null
  76.       ? request.getPathInfo() : "/";
  77.     final String exclude = request.getParameter("exclude") != null
  78.       ? request.getParameter("exclude") : "\..*\.crc";
  79.     final String filter = request.getParameter("filter") != null
  80.       ? request.getParameter("filter") : ".*";
  81.     final boolean recur = request.getParameter("recursive") != null
  82.       && "yes".equals(request.getParameter("recursive"));
  83.     Map<String, String> root = new HashMap<String, String>();
  84.     root.put("path", path);
  85.     root.put("recursive", recur ? "yes" : "no");
  86.     root.put("filter", filter);
  87.     root.put("exclude", exclude);
  88.     root.put("time", df.format(new Date()));
  89.     root.put("version", VersionInfo.getVersion());
  90.     return root;
  91.   }
  92.   /**
  93.    * Service a GET request as described below.
  94.    * Request:
  95.    * {@code
  96.    * GET http://<nn>:<port>/listPaths[/<path>][<?option>[&option]*] HTTP/1.1
  97.    * }
  98.    *
  99.    * Where <i>option</i> (default) in:
  100.    * recursive (&quot;no&quot;)
  101.    * filter (&quot;.*&quot;)
  102.    * exclude (&quot;..*.crc&quot;)
  103.    *
  104.    * Response: A flat list of files/directories in the following format:
  105.    * {@code
  106.    *   <listing path="..." recursive="(yes|no)" filter="..."
  107.    *            time="yyyy-MM-dd hh:mm:ss UTC" version="...">
  108.    *     <directory path="..." modified="yyyy-MM-dd hh:mm:ss"/>
  109.    *     <file path="..." modified="yyyy-MM-dd'T'hh:mm:ssZ" accesstime="yyyy-MM-dd'T'hh:mm:ssZ" 
  110.    *           blocksize="..."
  111.    *           replication="..." size="..."/>
  112.    *   </listing>
  113.    * }
  114.    */
  115.   public void doGet(HttpServletRequest request, HttpServletResponse response)
  116.     throws ServletException, IOException {
  117.     final UnixUserGroupInformation ugi = getUGI(request);
  118.     final PrintWriter out = response.getWriter();
  119.     final XMLOutputter doc = new XMLOutputter(out, "UTF-8");
  120.     try {
  121.       final Map<String, String> root = buildRoot(request, doc);
  122.       final String path = root.get("path");
  123.       final boolean recur = "yes".equals(root.get("recursive"));
  124.       final Pattern filter = Pattern.compile(root.get("filter"));
  125.       final Pattern exclude = Pattern.compile(root.get("exclude"));
  126.       ClientProtocol nnproxy = createNameNodeProxy(ugi);
  127.       doc.declaration();
  128.       doc.startTag("listing");
  129.       for (Map.Entry<String,String> m : root.entrySet()) {
  130.         doc.attribute(m.getKey(), m.getValue());
  131.       }
  132.       FileStatus base = nnproxy.getFileInfo(path);
  133.       if ((base != null) && base.isDir()) {
  134.         writeInfo(base, doc);
  135.       }
  136.       Stack<String> pathstack = new Stack<String>();
  137.       pathstack.push(path);
  138.       while (!pathstack.empty()) {
  139.         String p = pathstack.pop();
  140.         try {
  141.           for (FileStatus i : nnproxy.getListing(p)) {
  142.             if (exclude.matcher(i.getPath().getName()).matches()
  143.                 || !filter.matcher(i.getPath().getName()).matches()) {
  144.               continue;
  145.             }
  146.             if (recur && i.isDir()) {
  147.               pathstack.push(i.getPath().toUri().getPath());
  148.             }
  149.             writeInfo(i, doc);
  150.           }
  151.         }
  152.         catch(RemoteException re) {re.writeXml(p, doc);}
  153.       }
  154.     } catch (PatternSyntaxException e) {
  155.       out.println(e.toString());
  156.     } finally {
  157.       if (doc != null) {
  158.         doc.endDocument();
  159.       }
  160.       if (out != null) {
  161.         out.close();
  162.       }
  163.     }
  164.   }
  165. }