开通博客赚积分
发布资源赚积分
分类

源码开发语言/平台
当前位置：首页 > 源码/资料 > Internet/网络编程 > 网格计算 > 查看源码
JRecord.java
资源名称：hadoop-0.20.0.tar.gz　[点击查看]
上传用户：quxuerui
上传日期：2018-01-08
资源大小：41811k
文件大小：33k
源码类别：

网格计算

开发平台：

Java

JRecord.java：源码内容
  1. /**
  2.  * Licensed to the Apache Software Foundation (ASF) under one
  3.  * or more contributor license agreements.  See the NOTICE file
  4.  * distributed with this work for additional information
  5.  * regarding copyright ownership.  The ASF licenses this file
  6.  * to you under the Apache License, Version 2.0 (the
  7.  * "License"); you may not use this file except in compliance
  8.  * with the License.  You may obtain a copy of the License at
  9.  *
  10.  *     http://www.apache.org/licenses/LICENSE-2.0
  11.  *
  12.  * Unless required by applicable law or agreed to in writing, software
  13.  * distributed under the License is distributed on an "AS IS" BASIS,
  14.  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15.  * See the License for the specific language governing permissions and
  16.  * limitations under the License.
  17.  */
  19. package org.apache.hadoop.record.compiler;
  21. import java.io.File;
  22. import java.io.FileWriter;
  23. import java.io.IOException;
  24. import java.util.*;
  26. /**
  27.  */
  28. public class JRecord extends JCompType {
  29.   
  30.   class JavaRecord extends JavaCompType {
  31.     
  32.     private String fullName;
  33.     private String name;
  34.     private String module;
  35.     private ArrayList<JField<JavaType>> fields =
  36.       new ArrayList<JField<JavaType>>();
  37.     
  38.     JavaRecord(String name, ArrayList<JField<JType>> flist) {
  39.       super(name, "Record", name, "TypeID.RIOType.STRUCT");
  40.       this.fullName = name;
  41.       int idx = name.lastIndexOf('.');
  42.       this.name = name.substring(idx+1);
  43.       this.module = name.substring(0, idx);
  44.       for (Iterator<JField<JType>> iter = flist.iterator(); iter.hasNext();) {
  45.         JField<JType> f = iter.next();
  46.         fields.add(new JField<JavaType>(f.getName(), f.getType().getJavaType()));
  47.       }
  48.     }
  49.     
  50.     String getTypeIDObjectString() {
  51.       return "new org.apache.hadoop.record.meta.StructTypeID(" + 
  52.       fullName + ".getTypeInfo())";
  53.     }
  55.     void genSetRTIFilter(CodeBuffer cb, Map<String, Integer> nestedStructMap) {
  56.       // ignore, if we'ev already set the type filter for this record
  57.       if (!nestedStructMap.containsKey(fullName)) {
  58.         // we set the RTI filter here
  59.         cb.append(fullName + ".setTypeFilter(rti.getNestedStructTypeInfo(""+
  60.             name + ""));n");
  61.         nestedStructMap.put(fullName, null);
  62.       }
  63.     }
  65.     // for each typeInfo in the filter, we see if there's a similar one in the record. 
  66.     // Since we store typeInfos in ArrayLists, thsi search is O(n squared). We do it faster
  67.     // if we also store a map (of TypeInfo to index), but since setupRtiFields() is called
  68.     // only once when deserializing, we're sticking with the former, as the code is easier.  
  69.     void genSetupRtiFields(CodeBuffer cb) {
  70.       cb.append("private static void setupRtiFields()n{n");
  71.       cb.append("if (null == " + Consts.RTI_FILTER + ") return;n");
  72.       cb.append("// we may already have done thisn");
  73.       cb.append("if (null != " + Consts.RTI_FILTER_FIELDS + ") return;n");
  74.       cb.append("int " + Consts.RIO_PREFIX + "i, " + Consts.RIO_PREFIX + "j;n");
  75.       cb.append(Consts.RTI_FILTER_FIELDS + " = new int [" + 
  76.           Consts.RIO_PREFIX + "rtiFilter.getFieldTypeInfos().size()];n");
  77.       cb.append("for (" + Consts.RIO_PREFIX + "i=0; " + Consts.RIO_PREFIX + "i<"+
  78.           Consts.RTI_FILTER_FIELDS + ".length; " + Consts.RIO_PREFIX + "i++) {n");
  79.       cb.append(Consts.RTI_FILTER_FIELDS + "[" + Consts.RIO_PREFIX + "i] = 0;n");
  80.       cb.append("}n");
  81.       cb.append("java.util.Iterator<org.apache.hadoop.record.meta." +
  82.           "FieldTypeInfo> " + Consts.RIO_PREFIX + "itFilter = " + 
  83.           Consts.RIO_PREFIX + "rtiFilter.getFieldTypeInfos().iterator();n");
  84.       cb.append(Consts.RIO_PREFIX + "i=0;n");
  85.       cb.append("while (" + Consts.RIO_PREFIX + "itFilter.hasNext()) {n");
  86.       cb.append("org.apache.hadoop.record.meta.FieldTypeInfo " + 
  87.           Consts.RIO_PREFIX + "tInfoFilter = " + 
  88.           Consts.RIO_PREFIX + "itFilter.next();n");
  89.       cb.append("java.util.Iterator<org.apache.hadoop.record.meta." + 
  90.           "FieldTypeInfo> " + Consts.RIO_PREFIX + "it = " + Consts.RTI_VAR + 
  91.           ".getFieldTypeInfos().iterator();n");
  92.       cb.append(Consts.RIO_PREFIX + "j=1;n");
  93.       cb.append("while (" + Consts.RIO_PREFIX + "it.hasNext()) {n");
  94.       cb.append("org.apache.hadoop.record.meta.FieldTypeInfo " + 
  95.           Consts.RIO_PREFIX + "tInfo = " + Consts.RIO_PREFIX + "it.next();n");
  96.       cb.append("if (" + Consts.RIO_PREFIX + "tInfo.equals(" +  
  97.           Consts.RIO_PREFIX + "tInfoFilter)) {n");
  98.       cb.append(Consts.RTI_FILTER_FIELDS + "[" + Consts.RIO_PREFIX + "i] = " +
  99.           Consts.RIO_PREFIX + "j;n");
  100.       cb.append("break;n");
  101.       cb.append("}n");
  102.       cb.append(Consts.RIO_PREFIX + "j++;n");
  103.       cb.append("}n");
  104.       /*int ct = 0;
  105.       for (Iterator<JField<JavaType>> i = fields.iterator(); i.hasNext();) {
  106.         ct++;
  107.         JField<JavaType> jf = i.next();
  108.         JavaType type = jf.getType();
  109.         String name = jf.getName();
  110.         if (ct != 1) {
  111.           cb.append("else ");
  112.         }
  113.         type.genRtiFieldCondition(cb, name, ct);
  114.       }
  115.       if (ct != 0) {
  116.         cb.append("else {n");
  117.         cb.append("rtiFilterFields[i] = 0;n");
  118.         cb.append("}n");
  119.       }*/
  120.       cb.append(Consts.RIO_PREFIX + "i++;n");
  121.       cb.append("}n");
  122.       cb.append("}n");
  123.     }
  125.     void genReadMethod(CodeBuffer cb, String fname, String tag, boolean decl) {
  126.       if (decl) {
  127.         cb.append(fullName+" "+fname+";n");
  128.       }
  129.       cb.append(fname+"= new "+fullName+"();n");
  130.       cb.append(fname+".deserialize(" + Consts.RECORD_INPUT + ",""+tag+"");n");
  131.     }
  132.     
  133.     void genWriteMethod(CodeBuffer cb, String fname, String tag) {
  134.       cb.append(fname+".serialize(" + Consts.RECORD_OUTPUT + ",""+tag+"");n");
  135.     }
  136.     
  137.     void genSlurpBytes(CodeBuffer cb, String b, String s, String l) {
  138.       cb.append("{n");
  139.       cb.append("int r = "+fullName+
  140.                 ".Comparator.slurpRaw("+b+","+s+","+l+");n");
  141.       cb.append(s+"+=r; "+l+"-=r;n");
  142.       cb.append("}n");
  143.     }
  144.     
  145.     void genCompareBytes(CodeBuffer cb) {
  146.       cb.append("{n");
  147.       cb.append("int r1 = "+fullName+
  148.                 ".Comparator.compareRaw(b1,s1,l1,b2,s2,l2);n");
  149.       cb.append("if (r1 <= 0) { return r1; }n");
  150.       cb.append("s1+=r1; s2+=r1; l1-=r1; l2-=r1;n");
  151.       cb.append("}n");
  152.     }
  153.     
  154.     void genCode(String destDir, ArrayList<String> options) throws IOException {
  155.       String pkg = module;
  156.       String pkgpath = pkg.replaceAll("\.", "/");
  157.       File pkgdir = new File(destDir, pkgpath);
  159.       final File jfile = new File(pkgdir, name+".java");
  160.       if (!pkgdir.exists()) {
  161.         // create the pkg directory
  162.         boolean ret = pkgdir.mkdirs();
  163.         if (!ret) {
  164.           throw new IOException("Cannnot create directory: "+pkgpath);
  165.         }
  166.       } else if (!pkgdir.isDirectory()) {
  167.         // not a directory
  168.         throw new IOException(pkgpath+" is not a directory.");
  169.       }
  171.       CodeBuffer cb = new CodeBuffer();
  172.       cb.append("// File generated by hadoop record compiler. Do not edit.n");
  173.       cb.append("package "+module+";nn");
  174.       cb.append("public class "+name+
  175.                 " extends org.apache.hadoop.record.Record {n");
  176.       
  177.       // type information declarations
  178.       cb.append("private static final " + 
  179.           "org.apache.hadoop.record.meta.RecordTypeInfo " + 
  180.           Consts.RTI_VAR + ";n");
  181.       cb.append("private static " + 
  182.           "org.apache.hadoop.record.meta.RecordTypeInfo " + 
  183.           Consts.RTI_FILTER + ";n");
  184.       cb.append("private static int[] " + Consts.RTI_FILTER_FIELDS + ";n");
  185.       
  186.       // static init for type information
  187.       cb.append("static {n");
  188.       cb.append(Consts.RTI_VAR + " = " +
  189.           "new org.apache.hadoop.record.meta.RecordTypeInfo("" +
  190.           name + "");n");
  191.       for (Iterator<JField<JavaType>> i = fields.iterator(); i.hasNext();) {
  192.         JField<JavaType> jf = i.next();
  193.         String name = jf.getName();
  194.         JavaType type = jf.getType();
  195.         type.genStaticTypeInfo(cb, name);
  196.       }
  197.       cb.append("}nn");
  199.       // field definitions
  200.       for (Iterator<JField<JavaType>> i = fields.iterator(); i.hasNext();) {
  201.         JField<JavaType> jf = i.next();
  202.         String name = jf.getName();
  203.         JavaType type = jf.getType();
  204.         type.genDecl(cb, name);
  205.       }
  207.       // default constructor
  208.       cb.append("public "+name+"() { }n");
  209.       
  210.       // constructor
  211.       cb.append("public "+name+"(n");
  212.       int fIdx = 0;
  213.       for (Iterator<JField<JavaType>> i = fields.iterator(); i.hasNext(); fIdx++) {
  214.         JField<JavaType> jf = i.next();
  215.         String name = jf.getName();
  216.         JavaType type = jf.getType();
  217.         type.genConstructorParam(cb, name);
  218.         cb.append((!i.hasNext())?"":",n");
  219.       }
  220.       cb.append(") {n");
  221.       fIdx = 0;
  222.       for (Iterator<JField<JavaType>> i = fields.iterator(); i.hasNext(); fIdx++) {
  223.         JField<JavaType> jf = i.next();
  224.         String name = jf.getName();
  225.         JavaType type = jf.getType();
  226.         type.genConstructorSet(cb, name);
  227.       }
  228.       cb.append("}n");
  230.       // getter/setter for type info
  231.       cb.append("public static org.apache.hadoop.record.meta.RecordTypeInfo"
  232.               + " getTypeInfo() {n");
  233.       cb.append("return " + Consts.RTI_VAR + ";n");
  234.       cb.append("}n");
  235.       cb.append("public static void setTypeFilter("
  236.           + "org.apache.hadoop.record.meta.RecordTypeInfo rti) {n");
  237.       cb.append("if (null == rti) return;n");
  238.       cb.append(Consts.RTI_FILTER + " = rti;n");
  239.       cb.append(Consts.RTI_FILTER_FIELDS + " = null;n");
  240.       // set RTIFilter for nested structs.
  241.       // To prevent setting up the type filter for the same struct more than once, 
  242.       // we use a hash map to keep track of what we've set. 
  243.       Map<String, Integer> nestedStructMap = new HashMap<String, Integer>();
  244.       for (JField<JavaType> jf : fields) {
  245.         JavaType type = jf.getType();
  246.         type.genSetRTIFilter(cb, nestedStructMap);
  247.       }
  248.       cb.append("}n");
  250.       // setupRtiFields()
  251.       genSetupRtiFields(cb);
  253.       // getters/setters for member variables
  254.       for (Iterator<JField<JavaType>> i = fields.iterator(); i.hasNext();) {
  255.         JField<JavaType> jf = i.next();
  256.         String name = jf.getName();
  257.         JavaType type = jf.getType();
  258.         type.genGetSet(cb, name);
  259.       }
  260.       
  261.       // serialize()
  262.       cb.append("public void serialize("+ 
  263.           "final org.apache.hadoop.record.RecordOutput " + 
  264.           Consts.RECORD_OUTPUT + ", final String " + Consts.TAG + ")n"+
  265.                 "throws java.io.IOException {n");
  266.       cb.append(Consts.RECORD_OUTPUT + ".startRecord(this," + Consts.TAG + ");n");
  267.       for (Iterator<JField<JavaType>> i = fields.iterator(); i.hasNext();) {
  268.         JField<JavaType> jf = i.next();
  269.         String name = jf.getName();
  270.         JavaType type = jf.getType();
  271.         type.genWriteMethod(cb, name, name);
  272.       }
  273.       cb.append(Consts.RECORD_OUTPUT + ".endRecord(this," + Consts.TAG+");n");
  274.       cb.append("}n");
  276.       // deserializeWithoutFilter()
  277.       cb.append("private void deserializeWithoutFilter("+
  278.                 "final org.apache.hadoop.record.RecordInput " + 
  279.                 Consts.RECORD_INPUT + ", final String " + Consts.TAG + ")n"+
  280.                 "throws java.io.IOException {n");
  281.       cb.append(Consts.RECORD_INPUT + ".startRecord(" + Consts.TAG + ");n");
  282.       for (Iterator<JField<JavaType>> i = fields.iterator(); i.hasNext();) {
  283.         JField<JavaType> jf = i.next();
  284.         String name = jf.getName();
  285.         JavaType type = jf.getType();
  286.         type.genReadMethod(cb, name, name, false);
  287.       }
  288.       cb.append(Consts.RECORD_INPUT + ".endRecord(" + Consts.TAG+");n");
  289.       cb.append("}n");
  290.       
  291.       // deserialize()
  292.       cb.append("public void deserialize(final " +
  293.           "org.apache.hadoop.record.RecordInput " + 
  294.           Consts.RECORD_INPUT + ", final String " + Consts.TAG + ")n"+
  295.           "throws java.io.IOException {n");
  296.       cb.append("if (null == " + Consts.RTI_FILTER + ") {n");
  297.       cb.append("deserializeWithoutFilter(" + Consts.RECORD_INPUT + ", " + 
  298.           Consts.TAG + ");n");
  299.       cb.append("return;n");
  300.       cb.append("}n");
  301.       cb.append("// if we're here, we need to read based on version infon");
  302.       cb.append(Consts.RECORD_INPUT + ".startRecord(" + Consts.TAG + ");n");
  303.       cb.append("setupRtiFields();n");
  304.       cb.append("for (int " + Consts.RIO_PREFIX + "i=0; " + Consts.RIO_PREFIX + 
  305.           "i<" + Consts.RTI_FILTER + ".getFieldTypeInfos().size(); " + 
  306.           Consts.RIO_PREFIX + "i++) {n");
  307.       int ct = 0;
  308.       for (Iterator<JField<JavaType>> i = fields.iterator(); i.hasNext();) {
  309.         JField<JavaType> jf = i.next();
  310.         String name = jf.getName();
  311.         JavaType type = jf.getType();
  312.         ct++;
  313.         if (1 != ct) {
  314.           cb.append("else ");
  315.         }
  316.         cb.append("if (" + ct + " == " + Consts.RTI_FILTER_FIELDS + "[" +
  317.             Consts.RIO_PREFIX + "i]) {n");
  318.         type.genReadMethod(cb, name, name, false);
  319.         cb.append("}n");
  320.       }
  321.       if (0 != ct) {
  322.         cb.append("else {n");
  323.         cb.append("java.util.ArrayList<"
  324.                 + "org.apache.hadoop.record.meta.FieldTypeInfo> typeInfos = "
  325.                 + "(java.util.ArrayList<"
  326.                 + "org.apache.hadoop.record.meta.FieldTypeInfo>)"
  327.                 + "(" + Consts.RTI_FILTER + ".getFieldTypeInfos());n");
  328.         cb.append("org.apache.hadoop.record.meta.Utils.skip(" + 
  329.             Consts.RECORD_INPUT + ", " + "typeInfos.get(" + Consts.RIO_PREFIX + 
  330.             "i).getFieldID(), typeInfos.get(" + 
  331.             Consts.RIO_PREFIX + "i).getTypeID());n");
  332.         cb.append("}n");
  333.       }
  334.       cb.append("}n");
  335.       cb.append(Consts.RECORD_INPUT + ".endRecord(" + Consts.TAG+");n");
  336.       cb.append("}n");
  338.       // compareTo()
  339.       cb.append("public int compareTo (final Object " + Consts.RIO_PREFIX + 
  340.           "peer_) throws ClassCastException {n");
  341.       cb.append("if (!(" + Consts.RIO_PREFIX + "peer_ instanceof "+name+")) {n");
  342.       cb.append("throw new ClassCastException("Comparing different types of records.");n");
  343.       cb.append("}n");
  344.       cb.append(name+" " + Consts.RIO_PREFIX + "peer = ("+name+") " + 
  345.           Consts.RIO_PREFIX + "peer_;n");
  346.       cb.append("int " + Consts.RIO_PREFIX + "ret = 0;n");
  347.       for (Iterator<JField<JavaType>> i = fields.iterator(); i.hasNext();) {
  348.         JField<JavaType> jf = i.next();
  349.         String name = jf.getName();
  350.         JavaType type = jf.getType();
  351.         type.genCompareTo(cb, name, Consts.RIO_PREFIX + "peer."+name);
  352.         cb.append("if (" + Consts.RIO_PREFIX + "ret != 0) return " + 
  353.             Consts.RIO_PREFIX + "ret;n");
  354.       }
  355.       cb.append("return " + Consts.RIO_PREFIX + "ret;n");
  356.       cb.append("}n");
  357.       
  358.       // equals()
  359.       cb.append("public boolean equals(final Object " + Consts.RIO_PREFIX + 
  360.           "peer_) {n");
  361.       cb.append("if (!(" + Consts.RIO_PREFIX + "peer_ instanceof "+name+")) {n");
  362.       cb.append("return false;n");
  363.       cb.append("}n");
  364.       cb.append("if (" + Consts.RIO_PREFIX + "peer_ == this) {n");
  365.       cb.append("return true;n");
  366.       cb.append("}n");
  367.       cb.append(name+" " + Consts.RIO_PREFIX + "peer = ("+name+") " + 
  368.           Consts.RIO_PREFIX + "peer_;n");
  369.       cb.append("boolean " + Consts.RIO_PREFIX + "ret = false;n");
  370.       for (Iterator<JField<JavaType>> i = fields.iterator(); i.hasNext();) {
  371.         JField<JavaType> jf = i.next();
  372.         String name = jf.getName();
  373.         JavaType type = jf.getType();
  374.         type.genEquals(cb, name, Consts.RIO_PREFIX + "peer."+name);
  375.         cb.append("if (!" + Consts.RIO_PREFIX + "ret) return " + 
  376.             Consts.RIO_PREFIX + "ret;n");
  377.       }
  378.       cb.append("return " + Consts.RIO_PREFIX + "ret;n");
  379.       cb.append("}n");
  381.       // clone()
  382.       cb.append("public Object clone() throws CloneNotSupportedException {n");
  383.       cb.append(name+" " + Consts.RIO_PREFIX + "other = new "+name+"();n");
  384.       for (Iterator<JField<JavaType>> i = fields.iterator(); i.hasNext();) {
  385.         JField<JavaType> jf = i.next();
  386.         String name = jf.getName();
  387.         JavaType type = jf.getType();
  388.         type.genClone(cb, name);
  389.       }
  390.       cb.append("return " + Consts.RIO_PREFIX + "other;n");
  391.       cb.append("}n");
  392.       
  393.       cb.append("public int hashCode() {n");
  394.       cb.append("int " + Consts.RIO_PREFIX + "result = 17;n");
  395.       cb.append("int " + Consts.RIO_PREFIX + "ret;n");
  396.       for (Iterator<JField<JavaType>> i = fields.iterator(); i.hasNext();) {
  397.         JField<JavaType> jf = i.next();
  398.         String name = jf.getName();
  399.         JavaType type = jf.getType();
  400.         type.genHashCode(cb, name);
  401.         cb.append(Consts.RIO_PREFIX + "result = 37*" + Consts.RIO_PREFIX + 
  402.             "result + " + Consts.RIO_PREFIX + "ret;n");
  403.       }
  404.       cb.append("return " + Consts.RIO_PREFIX + "result;n");
  405.       cb.append("}n");
  406.       
  407.       cb.append("public static String signature() {n");
  408.       cb.append("return ""+getSignature()+"";n");
  409.       cb.append("}n");
  410.       
  411.       cb.append("public static class Comparator extends"+
  412.                 " org.apache.hadoop.record.RecordComparator {n");
  413.       cb.append("public Comparator() {n");
  414.       cb.append("super("+name+".class);n");
  415.       cb.append("}n");
  416.       
  417.       cb.append("static public int slurpRaw(byte[] b, int s, int l) {n");
  418.       cb.append("try {n");
  419.       cb.append("int os = s;n");
  420.       for (Iterator<JField<JavaType>> i = fields.iterator(); i.hasNext();) {
  421.         JField<JavaType> jf = i.next();
  422.         String name = jf.getName();
  423.         JavaType type = jf.getType();
  424.         type.genSlurpBytes(cb, "b","s","l");
  425.       }
  426.       cb.append("return (os - s);n");
  427.       cb.append("} catch(java.io.IOException e) {n");
  428.       cb.append("throw new RuntimeException(e);n");
  429.       cb.append("}n");
  430.       cb.append("}n");
  431.       
  432.       cb.append("static public int compareRaw(byte[] b1, int s1, int l1,n");
  433.       cb.append("                             byte[] b2, int s2, int l2) {n");
  434.       cb.append("try {n");
  435.       cb.append("int os1 = s1;n");
  436.       for (Iterator<JField<JavaType>> i = fields.iterator(); i.hasNext();) {
  437.         JField<JavaType> jf = i.next();
  438.         String name = jf.getName();
  439.         JavaType type = jf.getType();
  440.         type.genCompareBytes(cb);
  441.       }
  442.       cb.append("return (os1 - s1);n");
  443.       cb.append("} catch(java.io.IOException e) {n");
  444.       cb.append("throw new RuntimeException(e);n");
  445.       cb.append("}n");
  446.       cb.append("}n");
  447.       cb.append("public int compare(byte[] b1, int s1, int l1,n");
  448.       cb.append("                   byte[] b2, int s2, int l2) {n");
  449.       cb.append("int ret = compareRaw(b1,s1,l1,b2,s2,l2);n");
  450.       cb.append("return (ret == -1)? -1 : ((ret==0)? 1 : 0);");
  451.       cb.append("}n");
  452.       cb.append("}nn");
  453.       cb.append("static {n");
  454.       cb.append("org.apache.hadoop.record.RecordComparator.define("
  455.                 +name+".class, new Comparator());n");
  456.       cb.append("}n");
  457.       cb.append("}n");
  459.       FileWriter jj = new FileWriter(jfile);
  460.       try {
  461.         jj.write(cb.toString());
  462.       } finally {
  463.         jj.close();
  464.       }
  465.     }
  466.   }
  467.   
  468.   class CppRecord extends CppCompType {
  469.     
  470.     private String fullName;
  471.     private String name;
  472.     private String module;
  473.     private ArrayList<JField<CppType>> fields = 
  474.       new ArrayList<JField<CppType>>();
  475.     
  476.     CppRecord(String name, ArrayList<JField<JType>> flist) {
  477.       super(name.replaceAll("\.","::"));
  478.       this.fullName = name.replaceAll("\.", "::");
  479.       int idx = name.lastIndexOf('.');
  480.       this.name = name.substring(idx+1);
  481.       this.module = name.substring(0, idx).replaceAll("\.", "::");
  482.       for (Iterator<JField<JType>> iter = flist.iterator(); iter.hasNext();) {
  483.         JField<JType> f = iter.next();
  484.         fields.add(new JField<CppType>(f.getName(), f.getType().getCppType()));
  485.       }
  486.     }
  487.     
  488.     String getTypeIDObjectString() {
  489.       return "new ::hadoop::StructTypeID(" + 
  490.       fullName + "::getTypeInfo().getFieldTypeInfos())";
  491.     }
  493.     String genDecl(String fname) {
  494.       return "  "+name+" "+fname+";n";
  495.     }
  496.     
  497.     void genSetRTIFilter(CodeBuffer cb) {
  498.       // we set the RTI filter here
  499.       cb.append(fullName + "::setTypeFilter(rti.getNestedStructTypeInfo(""+
  500.           name + ""));n");
  501.     }
  503.     void genSetupRTIFields(CodeBuffer cb) {
  504.       cb.append("void " + fullName + "::setupRtiFields() {n");
  505.       cb.append("if (NULL == p" + Consts.RTI_FILTER + ") return;n");
  506.       cb.append("if (NULL != p" + Consts.RTI_FILTER_FIELDS + ") return;n");
  507.       cb.append("p" + Consts.RTI_FILTER_FIELDS + " = new int[p" + 
  508.           Consts.RTI_FILTER + "->getFieldTypeInfos().size()];n");
  509.       cb.append("for (unsigned int " + Consts.RIO_PREFIX + "i=0; " + 
  510.           Consts.RIO_PREFIX + "i<p" + Consts.RTI_FILTER + 
  511.           "->getFieldTypeInfos().size(); " + Consts.RIO_PREFIX + "i++) {n");
  512.       cb.append("p" + Consts.RTI_FILTER_FIELDS + "[" + Consts.RIO_PREFIX + 
  513.           "i] = 0;n");
  514.       cb.append("}n");
  515.       cb.append("for (unsigned int " + Consts.RIO_PREFIX + "i=0; " + 
  516.           Consts.RIO_PREFIX + "i<p" + Consts.RTI_FILTER + 
  517.           "->getFieldTypeInfos().size(); " + Consts.RIO_PREFIX + "i++) {n");
  518.       cb.append("for (unsigned int " + Consts.RIO_PREFIX + "j=0; " + 
  519.           Consts.RIO_PREFIX + "j<p" + Consts.RTI_VAR + 
  520.           "->getFieldTypeInfos().size(); " + Consts.RIO_PREFIX + "j++) {n");
  521.       cb.append("if (*(p" + Consts.RTI_FILTER + "->getFieldTypeInfos()[" + 
  522.           Consts.RIO_PREFIX + "i]) == *(p" + Consts.RTI_VAR + 
  523.           "->getFieldTypeInfos()[" + Consts.RIO_PREFIX + "j])) {n");
  524.       cb.append("p" + Consts.RTI_FILTER_FIELDS + "[" + Consts.RIO_PREFIX + 
  525.           "i] = " + Consts.RIO_PREFIX + "j+1;n");
  526.       cb.append("break;n");
  527.       cb.append("}n");
  528.       cb.append("}n");
  529.       cb.append("}n");
  530.       cb.append("}n");
  531.     }
  532.     
  533.     void genCode(FileWriter hh, FileWriter cc, ArrayList<String> options)
  534.       throws IOException {
  535.       CodeBuffer hb = new CodeBuffer();
  536.       
  537.       String[] ns = module.split("::");
  538.       for (int i = 0; i < ns.length; i++) {
  539.         hb.append("namespace "+ns[i]+" {n");
  540.       }
  541.       
  542.       hb.append("class "+name+" : public ::hadoop::Record {n");
  543.       hb.append("private:n");
  544.       
  545.       for (Iterator<JField<CppType>> i = fields.iterator(); i.hasNext();) {
  546.         JField<CppType> jf = i.next();
  547.         String name = jf.getName();
  548.         CppType type = jf.getType();
  549.         type.genDecl(hb, name);
  550.       }
  551.       
  552.       // type info vars
  553.       hb.append("static ::hadoop::RecordTypeInfo* p" + Consts.RTI_VAR + ";n");
  554.       hb.append("static ::hadoop::RecordTypeInfo* p" + Consts.RTI_FILTER + ";n");
  555.       hb.append("static int* p" + Consts.RTI_FILTER_FIELDS + ";n");
  556.       hb.append("static ::hadoop::RecordTypeInfo* setupTypeInfo();n");
  557.       hb.append("static void setupRtiFields();n");
  558.       hb.append("virtual void deserializeWithoutFilter(::hadoop::IArchive& " + 
  559.           Consts.RECORD_INPUT + ", const char* " + Consts.TAG + ");n");
  560.       hb.append("public:n");
  561.       hb.append("static const ::hadoop::RecordTypeInfo& getTypeInfo() " +
  562.           "{return *p" + Consts.RTI_VAR + ";}n");
  563.       hb.append("static void setTypeFilter(const ::hadoop::RecordTypeInfo& rti);n");
  564.       hb.append("static void setTypeFilter(const ::hadoop::RecordTypeInfo* prti);n");
  565.       hb.append("virtual void serialize(::hadoop::OArchive& " + 
  566.           Consts.RECORD_OUTPUT + ", const char* " + Consts.TAG + ") const;n");
  567.       hb.append("virtual void deserialize(::hadoop::IArchive& " + 
  568.           Consts.RECORD_INPUT + ", const char* " + Consts.TAG + ");n");
  569.       hb.append("virtual const ::std::string& type() const;n");
  570.       hb.append("virtual const ::std::string& signature() const;n");
  571.       hb.append("virtual bool operator<(const "+name+"& peer_) const;n");
  572.       hb.append("virtual bool operator==(const "+name+"& peer_) const;n");
  573.       hb.append("virtual ~"+name+"() {};n");
  574.       for (Iterator<JField<CppType>> i = fields.iterator(); i.hasNext();) {
  575.         JField<CppType> jf = i.next();
  576.         String name = jf.getName();
  577.         CppType type = jf.getType();
  578.         type.genGetSet(hb, name);
  579.       }
  580.       hb.append("}; // end record "+name+"n");
  581.       for (int i=ns.length-1; i>=0; i--) {
  582.         hb.append("} // end namespace "+ns[i]+"n");
  583.       }
  584.       
  585.       hh.write(hb.toString());
  586.       
  587.       CodeBuffer cb = new CodeBuffer();
  589.       // initialize type info vars
  590.       cb.append("::hadoop::RecordTypeInfo* " + fullName + "::p" + 
  591.           Consts.RTI_VAR + " = " + fullName + "::setupTypeInfo();n");
  592.       cb.append("::hadoop::RecordTypeInfo* " + fullName + "::p" + 
  593.           Consts.RTI_FILTER + " = NULL;n");
  594.       cb.append("int* " + fullName + "::p" + 
  595.           Consts.RTI_FILTER_FIELDS + " = NULL;nn");
  597.       // setupTypeInfo()
  598.       cb.append("::hadoop::RecordTypeInfo* "+fullName+"::setupTypeInfo() {n");
  599.       cb.append("::hadoop::RecordTypeInfo* p = new ::hadoop::RecordTypeInfo("" + 
  600.           name + "");n");
  601.       for (Iterator<JField<CppType>> i = fields.iterator(); i.hasNext();) {
  602.         JField<CppType> jf = i.next();
  603.         String name = jf.getName();
  604.         CppType type = jf.getType();
  605.         type.genStaticTypeInfo(cb, name);
  606.       }
  607.       cb.append("return p;n");
  608.       cb.append("}n");
  610.       // setTypeFilter()
  611.       cb.append("void "+fullName+"::setTypeFilter(const " +
  612.           "::hadoop::RecordTypeInfo& rti) {n");
  613.       cb.append("if (NULL != p" + Consts.RTI_FILTER + ") {n");
  614.       cb.append("delete p" + Consts.RTI_FILTER + ";n");
  615.       cb.append("}n");
  616.       cb.append("p" + Consts.RTI_FILTER + " = new ::hadoop::RecordTypeInfo(rti);n");
  617.       cb.append("if (NULL != p" + Consts.RTI_FILTER_FIELDS + ") {n");
  618.       cb.append("delete p" + Consts.RTI_FILTER_FIELDS + ";n");
  619.       cb.append("}n");
  620.       cb.append("p" + Consts.RTI_FILTER_FIELDS + " = NULL;n");
  621.       // set RTIFilter for nested structs. We may end up with multiple lines that 
  622.       // do the same thing, if the same struct is nested in more than one field, 
  623.       // but that's OK. 
  624.       for (Iterator<JField<CppType>> i = fields.iterator(); i.hasNext();) {
  625.         JField<CppType> jf = i.next();
  626.         CppType type = jf.getType();
  627.         type.genSetRTIFilter(cb);
  628.       }
  629.       cb.append("}n");
  630.       
  631.       // setTypeFilter()
  632.       cb.append("void "+fullName+"::setTypeFilter(const " +
  633.           "::hadoop::RecordTypeInfo* prti) {n");
  634.       cb.append("if (NULL != prti) {n");
  635.       cb.append("setTypeFilter(*prti);n");
  636.       cb.append("}n");
  637.       cb.append("}n");
  639.       // setupRtiFields()
  640.       genSetupRTIFields(cb);
  642.       // serialize()
  643.       cb.append("void "+fullName+"::serialize(::hadoop::OArchive& " + 
  644.           Consts.RECORD_OUTPUT + ", const char* " + Consts.TAG + ") const {n");
  645.       cb.append(Consts.RECORD_OUTPUT + ".startRecord(*this," + 
  646.           Consts.TAG + ");n");
  647.       for (Iterator<JField<CppType>> i = fields.iterator(); i.hasNext();) {
  648.         JField<CppType> jf = i.next();
  649.         String name = jf.getName();
  650.         CppType type = jf.getType();
  651.         if (type instanceof JBuffer.CppBuffer) {
  652.           cb.append(Consts.RECORD_OUTPUT + ".serialize("+name+","+name+
  653.               ".length(),""+name+"");n");
  654.         } else {
  655.           cb.append(Consts.RECORD_OUTPUT + ".serialize("+name+",""+
  656.               name+"");n");
  657.         }
  658.       }
  659.       cb.append(Consts.RECORD_OUTPUT + ".endRecord(*this," + Consts.TAG + ");n");
  660.       cb.append("return;n");
  661.       cb.append("}n");
  662.       
  663.       // deserializeWithoutFilter()
  664.       cb.append("void "+fullName+"::deserializeWithoutFilter(::hadoop::IArchive& " +
  665.           Consts.RECORD_INPUT + ", const char* " + Consts.TAG + ") {n");
  666.       cb.append(Consts.RECORD_INPUT + ".startRecord(*this," + 
  667.           Consts.TAG + ");n");
  668.       for (Iterator<JField<CppType>> i = fields.iterator(); i.hasNext();) {
  669.         JField<CppType> jf = i.next();
  670.         String name = jf.getName();
  671.         CppType type = jf.getType();
  672.         if (type instanceof JBuffer.CppBuffer) {
  673.           cb.append("{nsize_t len=0; " + Consts.RECORD_INPUT + ".deserialize("+
  674.               name+",len,""+name+"");n}n");
  675.         } else {
  676.           cb.append(Consts.RECORD_INPUT + ".deserialize("+name+",""+
  677.               name+"");n");
  678.         }
  679.       }
  680.       cb.append(Consts.RECORD_INPUT + ".endRecord(*this," + Consts.TAG + ");n");
  681.       cb.append("return;n");
  682.       cb.append("}n");
  683.       
  684.       // deserialize()
  685.       cb.append("void "+fullName+"::deserialize(::hadoop::IArchive& " +
  686.           Consts.RECORD_INPUT + ", const char* " + Consts.TAG + ") {n");
  687.       cb.append("if (NULL == p" + Consts.RTI_FILTER + ") {n");
  688.       cb.append("deserializeWithoutFilter(" + Consts.RECORD_INPUT + ", " + 
  689.           Consts.TAG + ");n");
  690.       cb.append("return;n");
  691.       cb.append("}n");
  692.       cb.append("// if we're here, we need to read based on version infon");
  693.       cb.append(Consts.RECORD_INPUT + ".startRecord(*this," + 
  694.           Consts.TAG + ");n");
  695.       cb.append("setupRtiFields();n");
  696.       cb.append("for (unsigned int " + Consts.RIO_PREFIX + "i=0; " + 
  697.           Consts.RIO_PREFIX + "i<p" + Consts.RTI_FILTER + 
  698.           "->getFieldTypeInfos().size(); " + Consts.RIO_PREFIX + "i++) {n");
  699.       int ct = 0;
  700.       for (Iterator<JField<CppType>> i = fields.iterator(); i.hasNext();) {
  701.         JField<CppType> jf = i.next();
  702.         String name = jf.getName();
  703.         CppType type = jf.getType();
  704.         ct++;
  705.         if (1 != ct) {
  706.           cb.append("else ");
  707.         }
  708.         cb.append("if (" + ct + " == p" + Consts.RTI_FILTER_FIELDS + "[" +
  709.             Consts.RIO_PREFIX + "i]) {n");
  710.         if (type instanceof JBuffer.CppBuffer) {
  711.           cb.append("{nsize_t len=0; " + Consts.RECORD_INPUT + ".deserialize("+
  712.               name+",len,""+name+"");n}n");
  713.         } else {
  714.           cb.append(Consts.RECORD_INPUT + ".deserialize("+name+",""+
  715.               name+"");n");
  716.         }
  717.         cb.append("}n");
  718.       }
  719.       if (0 != ct) {
  720.         cb.append("else {n");
  721.         cb.append("const std::vector< ::hadoop::FieldTypeInfo* >& typeInfos = p" + 
  722.             Consts.RTI_FILTER + "->getFieldTypeInfos();n");
  723.         cb.append("::hadoop::Utils::skip(" + Consts.RECORD_INPUT + 
  724.             ", typeInfos[" + Consts.RIO_PREFIX + "i]->getFieldID()->c_str()" + 
  725.             ", *(typeInfos[" + Consts.RIO_PREFIX + "i]->getTypeID()));n");
  726.         cb.append("}n");
  727.       }
  728.       cb.append("}n");
  729.       cb.append(Consts.RECORD_INPUT + ".endRecord(*this, " + Consts.TAG+");n");
  730.       cb.append("}n");
  732.       // operator <
  733.       cb.append("bool "+fullName+"::operator< (const "+fullName+"& peer_) const {n");
  734.       cb.append("return (1n");
  735.       for (Iterator<JField<CppType>> i = fields.iterator(); i.hasNext();) {
  736.         JField<CppType> jf = i.next();
  737.         String name = jf.getName();
  738.         cb.append("&& ("+name+" < peer_."+name+")n");
  739.       }
  740.       cb.append(");n");
  741.       cb.append("}n");
  742.       
  743.       cb.append("bool "+fullName+"::operator== (const "+fullName+"& peer_) const {n");
  744.       cb.append("return (1n");
  745.       for (Iterator<JField<CppType>> i = fields.iterator(); i.hasNext();) {
  746.         JField<CppType> jf = i.next();
  747.         String name = jf.getName();
  748.         cb.append("&& ("+name+" == peer_."+name+")n");
  749.       }
  750.       cb.append(");n");
  751.       cb.append("}n");
  752.       
  753.       cb.append("const ::std::string&"+fullName+"::type() const {n");
  754.       cb.append("static const ::std::string type_(""+name+"");n");
  755.       cb.append("return type_;n");
  756.       cb.append("}n");
  757.       
  758.       cb.append("const ::std::string&"+fullName+"::signature() const {n");
  759.       cb.append("static const ::std::string sig_(""+getSignature()+"");n");
  760.       cb.append("return sig_;n");
  761.       cb.append("}n");
  762.       
  763.       cc.write(cb.toString());
  764.     }
  765.   }
  766.   
  767.   class CRecord extends CCompType {
  768.     
  769.   }
  770.   
  771.   private String signature;
  772.   
  773.   /**
  774.    * Creates a new instance of JRecord
  775.    */
  776.   public JRecord(String name, ArrayList<JField<JType>> flist) {
  777.     setJavaType(new JavaRecord(name, flist));
  778.     setCppType(new CppRecord(name, flist));
  779.     setCType(new CRecord());
  780.     // precompute signature
  781.     int idx = name.lastIndexOf('.');
  782.     String recName = name.substring(idx+1);
  783.     StringBuffer sb = new StringBuffer();
  784.     sb.append("L").append(recName).append("(");
  785.     for (Iterator<JField<JType>> i = flist.iterator(); i.hasNext();) {
  786.       String s = i.next().getType().getSignature();
  787.       sb.append(s);
  788.     }
  789.     sb.append(")");
  790.     signature = sb.toString();
  791.   }
  792.   
  793.   String getSignature() {
  794.     return signature;
  795.   }
  796.   
  797.   void genCppCode(FileWriter hh, FileWriter cc, ArrayList<String> options)
  798.     throws IOException {
  799.     ((CppRecord)getCppType()).genCode(hh, cc, options);
  800.   }
  801.   
  802.   void genJavaCode(String destDir, ArrayList<String> options)
  803.     throws IOException {
  804.     ((JavaRecord)getJavaType()).genCode(destDir, options);
  805.   }
  806. }