TestIPC.java
上传用户:quxuerui
上传日期:2018-01-08
资源大小:41811k
文件大小:7k
源码类别:

网格计算

开发平台:

Java

  1. /**
  2.  * Licensed to the Apache Software Foundation (ASF) under one
  3.  * or more contributor license agreements.  See the NOTICE file
  4.  * distributed with this work for additional information
  5.  * regarding copyright ownership.  The ASF licenses this file
  6.  * to you under the Apache License, Version 2.0 (the
  7.  * "License"); you may not use this file except in compliance
  8.  * with the License.  You may obtain a copy of the License at
  9.  *
  10.  *     http://www.apache.org/licenses/LICENSE-2.0
  11.  *
  12.  * Unless required by applicable law or agreed to in writing, software
  13.  * distributed under the License is distributed on an "AS IS" BASIS,
  14.  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15.  * See the License for the specific language governing permissions and
  16.  * limitations under the License.
  17.  */
  18. package org.apache.hadoop.ipc;
  19. import org.apache.commons.logging.*;
  20. import org.apache.hadoop.io.Writable;
  21. import org.apache.hadoop.io.LongWritable;
  22. import org.apache.hadoop.util.StringUtils;
  23. import org.apache.hadoop.net.NetUtils;
  24. import java.util.Random;
  25. import java.io.IOException;
  26. import java.net.InetSocketAddress;
  27. import junit.framework.TestCase;
  28. import org.apache.hadoop.conf.Configuration;
  29. /** Unit tests for IPC. */
  30. public class TestIPC extends TestCase {
  31.   public static final Log LOG =
  32.     LogFactory.getLog(TestIPC.class);
  33.   
  34.   final private static Configuration conf = new Configuration();
  35.   final static private int PING_INTERVAL = 1000;
  36.   
  37.   static {
  38.     Client.setPingInterval(conf, PING_INTERVAL);
  39.   }
  40.   public TestIPC(String name) { super(name); }
  41.   private static final Random RANDOM = new Random();
  42.   private static final String ADDRESS = "0.0.0.0";
  43.   private static class TestServer extends Server {
  44.     private boolean sleep;
  45.     public TestServer(int handlerCount, boolean sleep) 
  46.       throws IOException {
  47.       super(ADDRESS, 0, LongWritable.class, handlerCount, conf);
  48.       this.sleep = sleep;
  49.     }
  50.     @Override
  51.     public Writable call(Class<?> protocol, Writable param, long receiveTime)
  52.         throws IOException {
  53.       if (sleep) {
  54.         try {
  55.           Thread.sleep(RANDOM.nextInt(2*PING_INTERVAL));      // sleep a bit
  56.         } catch (InterruptedException e) {}
  57.       }
  58.       return param;                               // echo param as result
  59.     }
  60.   }
  61.   private static class SerialCaller extends Thread {
  62.     private Client client;
  63.     private InetSocketAddress server;
  64.     private int count;
  65.     private boolean failed;
  66.     public SerialCaller(Client client, InetSocketAddress server, int count) {
  67.       this.client = client;
  68.       this.server = server;
  69.       this.count = count;
  70.     }
  71.     public void run() {
  72.       for (int i = 0; i < count; i++) {
  73.         try {
  74.           LongWritable param = new LongWritable(RANDOM.nextLong());
  75.           LongWritable value =
  76.             (LongWritable)client.call(param, server);
  77.           if (!param.equals(value)) {
  78.             LOG.fatal("Call failed!");
  79.             failed = true;
  80.             break;
  81.           }
  82.         } catch (Exception e) {
  83.           LOG.fatal("Caught: " + StringUtils.stringifyException(e));
  84.           failed = true;
  85.         }
  86.       }
  87.     }
  88.   }
  89.   private static class ParallelCaller extends Thread {
  90.     private Client client;
  91.     private int count;
  92.     private InetSocketAddress[] addresses;
  93.     private boolean failed;
  94.     
  95.     public ParallelCaller(Client client, InetSocketAddress[] addresses,
  96.                           int count) {
  97.       this.client = client;
  98.       this.addresses = addresses;
  99.       this.count = count;
  100.     }
  101.     public void run() {
  102.       for (int i = 0; i < count; i++) {
  103.         try {
  104.           Writable[] params = new Writable[addresses.length];
  105.           for (int j = 0; j < addresses.length; j++)
  106.             params[j] = new LongWritable(RANDOM.nextLong());
  107.           Writable[] values = client.call(params, addresses);
  108.           for (int j = 0; j < addresses.length; j++) {
  109.             if (!params[j].equals(values[j])) {
  110.               LOG.fatal("Call failed!");
  111.               failed = true;
  112.               break;
  113.             }
  114.           }
  115.         } catch (Exception e) {
  116.           LOG.fatal("Caught: " + StringUtils.stringifyException(e));
  117.           failed = true;
  118.         }
  119.       }
  120.     }
  121.   }
  122.   public void testSerial() throws Exception {
  123.     testSerial(3, false, 2, 5, 100);
  124.   }
  125.   public void testSerial(int handlerCount, boolean handlerSleep, 
  126.                          int clientCount, int callerCount, int callCount)
  127.     throws Exception {
  128.     Server server = new TestServer(handlerCount, handlerSleep);
  129.     InetSocketAddress addr = NetUtils.getConnectAddress(server);
  130.     server.start();
  131.     Client[] clients = new Client[clientCount];
  132.     for (int i = 0; i < clientCount; i++) {
  133.       clients[i] = new Client(LongWritable.class, conf);
  134.     }
  135.     
  136.     SerialCaller[] callers = new SerialCaller[callerCount];
  137.     for (int i = 0; i < callerCount; i++) {
  138.       callers[i] = new SerialCaller(clients[i%clientCount], addr, callCount);
  139.       callers[i].start();
  140.     }
  141.     for (int i = 0; i < callerCount; i++) {
  142.       callers[i].join();
  143.       assertFalse(callers[i].failed);
  144.     }
  145.     for (int i = 0; i < clientCount; i++) {
  146.       clients[i].stop();
  147.     }
  148.     server.stop();
  149.   }
  150.   public void testParallel() throws Exception {
  151.     testParallel(10, false, 2, 4, 2, 4, 100);
  152.   }
  153.   public void testParallel(int handlerCount, boolean handlerSleep,
  154.                            int serverCount, int addressCount,
  155.                            int clientCount, int callerCount, int callCount)
  156.     throws Exception {
  157.     Server[] servers = new Server[serverCount];
  158.     for (int i = 0; i < serverCount; i++) {
  159.       servers[i] = new TestServer(handlerCount, handlerSleep);
  160.       servers[i].start();
  161.     }
  162.     InetSocketAddress[] addresses = new InetSocketAddress[addressCount];
  163.     for (int i = 0; i < addressCount; i++) {
  164.       addresses[i] = NetUtils.getConnectAddress(servers[i%serverCount]);
  165.     }
  166.     Client[] clients = new Client[clientCount];
  167.     for (int i = 0; i < clientCount; i++) {
  168.       clients[i] = new Client(LongWritable.class, conf);
  169.     }
  170.     
  171.     ParallelCaller[] callers = new ParallelCaller[callerCount];
  172.     for (int i = 0; i < callerCount; i++) {
  173.       callers[i] =
  174.         new ParallelCaller(clients[i%clientCount], addresses, callCount);
  175.       callers[i].start();
  176.     }
  177.     for (int i = 0; i < callerCount; i++) {
  178.       callers[i].join();
  179.       assertFalse(callers[i].failed);
  180.     }
  181.     for (int i = 0; i < clientCount; i++) {
  182.       clients[i].stop();
  183.     }
  184.     for (int i = 0; i < serverCount; i++) {
  185.       servers[i].stop();
  186.     }
  187.   }
  188.   public void testStandAloneClient() throws Exception {
  189.     testParallel(10, false, 2, 4, 2, 4, 100);
  190.     Client client = new Client(LongWritable.class, conf);
  191.     InetSocketAddress address = new InetSocketAddress("127.0.0.1", 10);
  192.     try {
  193.       client.call(new LongWritable(RANDOM.nextLong()),
  194.               address);
  195.       fail("Expected an exception to have been thrown");
  196.     } catch (IOException e) {
  197.       String message = e.getMessage();
  198.       String addressText = address.toString();
  199.       assertTrue("Did not find "+addressText+" in "+message,
  200.               message.contains(addressText));
  201.       Throwable cause=e.getCause();
  202.       assertNotNull("No nested exception in "+e,cause);
  203.       String causeText=cause.getMessage();
  204.       assertTrue("Did not find " + causeText + " in " + message,
  205.               message.contains(causeText));
  206.     }
  207.   }
  208.   public static void main(String[] args) throws Exception {
  209.     //new TestIPC("test").testSerial(5, false, 2, 10, 1000);
  210.     new TestIPC("test").testParallel(10, false, 2, 4, 2, 4, 1000);
  211.   }
  212. }