README
上传用户:xgw_05
上传日期:2014-12-08
资源大小:2726k
文件大小:12k
源码类别:

.net编程

开发平台:

Java

  1. Libsvm is a simple, easy-to-use, and efficient software for SVM
  2. classification and regression. It can solve C-SVM classification,
  3. nu-SVM classification, one-class-SVM, epsilon-SVM regression,
  4. and nu-SVM regression. This document explains the use of libsvm.
  5. Libsvm is available at 
  6. http://www.csie.ntu.edu.tw/~cjlin/libsvm
  7. Please read the COPYRIGHT file before using libsvm.
  8. Installation
  9. ============
  10. On Unix systems, type `make' to build the `svm-train' and `svm-predict'
  11. programs. Run them without arguments to show the usages of them.
  12. On other systems, consult `Makefile' to build them or use the pre-built
  13. binaries (Windows binaries are in the subdirectory `windows').
  14. The format of training and testing data file is:
  15. <label> <index1>:<value1> <index2>:<value2> ...
  16. .
  17. .
  18. .
  19. <label> is the target value of the training data. For classification,
  20. it should be an integer which identifies a class (multi-class classification
  21. is supported). For regression, it's any real number. For one-class SVM,
  22. it's not used so can be any number. <index> is an integer starting from 1,
  23. <value> is a real number. The labels in the testing data file are only used to
  24. calculate accuracy or error. If they are unknown, just fill this column with a
  25. number.
  26. There is a sample training data for classification in this package:
  27. heart_scale.
  28. Type `svm-train heart_scale', and the program will read the training
  29. data and output the model file `heart_scale.model'. Then you can
  30. type `svm-predict heart_scale heart_scale.model output' to see the
  31. rate of classification on training data. The `output' file contains
  32. the prediction value of the model.
  33. There are some other useful programs in this package.
  34. svm-scale:
  35. This is a tool for scaling input data file.
  36. svm-toy:
  37. This is a simple graphical interface which shows how SVM
  38. separate data in a plane. You can click in the window to 
  39. draw data points. Use "change" button to choose class 
  40. 1 or 2, "load" button to load data from a file, "save" button
  41. to save data to a file, "run" button to obtain an SVM model,
  42. and "clear" button to clear the window.
  43. You can enter options in the bottom of the window, the syntax of
  44. options is the same as `svm-train'.
  45. Note that "load" and "save" consider data in the classification but
  46. not the regression case. Each data point has one label (the color)
  47. and two attributes (x-axis and y-axis values).
  48. Type `make' in respective directories to build them.
  49. You need Qt library to build the Qt version.
  50. (You can download it from http://www.trolltech.com)
  51. You need GTK+ library to build the GTK version.
  52. (You can download it from http://www.gtk.org)
  53. We use Visual C++ to build the Windows version.
  54. The pre-built Windows binaries are in the windows subdirectory.
  55. `svm-train' Usage
  56. =================
  57. Usage: svm-train [options] training_set_file [model_file]
  58. options:
  59. -s svm_type : set type of SVM (default 0)
  60. 0 -- C-SVC
  61. 1 -- nu-SVC
  62. 2 -- one-class SVM
  63. 3 -- epsilon-SVR
  64. 4 -- nu-SVR
  65. -t kernel_type : set type of kernel function (default 2)
  66. 0 -- linear: u'*v
  67. 1 -- polynomial: (gamma*u'*v + coef0)^degree
  68. 2 -- radial basis function: exp(-gamma*|u-v|^2)
  69. 3 -- sigmoid: tanh(gamma*u'*v + coef0)
  70. -d degree : set degree in kernel function (default 3)
  71. -g gamma : set gamma in kernel function (default 1/k)
  72. -r coef0 : set coef0 in kernel function (default 0)
  73. -c cost : set the parameter C of C-SVC, epsilon-SVR, and nu-SVR (default 1)
  74. -n nu : set the parameter nu of nu-SVC, one-class SVM, and nu-SVR (default 0.5)
  75. -p epsilon : set the epsilon in loss function of epsilon-SVR (default 0.1)
  76. -m cachesize : set cache memory size in MB (default 40)
  77. -e epsilon : set tolerance of termination criterion (default 0.001)
  78. -h shrinking: whether to use the shrinking heuristics, 0 or 1 (default 1)
  79. -wi weight: set the parameter C of class i to weight*C in C-SVC (default 1)
  80. -v n: n-fold cross validation mode
  81. The k in the -g option means the number of attributes in the input data.
  82. option -v randomly splits the data into n parts and calculates cross
  83. validation accuracy/mean squared error on them.
  84. `svm-predict' Usage
  85. ===================
  86. Usage: svm-predict test_file model_file output_file
  87. model_file is the model file generated by svm-train.
  88. test_file is the test data you want to predict.
  89. svm-predict will produce output in the output_file.
  90. No options are needed for svm-predict.
  91. Tips on practical use
  92. =====================
  93. * Scale your data. For example, scale each attribute to [0,1] or [-1,+1].
  94. * For C-SVC, try small and large C, like 1 to 1000 and decide which are
  95.   better for your data by cross validation. For the better C's, try
  96.   several gamma's.
  97. * nu in nu-SVC/one-class-SVM/nu-SVR approximates the fraction of training
  98.   errors and support vectors.
  99. * If data for classification are unbalanced (e.g. many positive and
  100.   few negative), try different penalty parameters C by -wi (see
  101.   examples below).
  102. Examples
  103. ========
  104. > svm-train -s 0 -c 1000 -t 1 -g 1 -r 1 -d 3 data_file
  105. Train a classifier with polynomial kernel (u'v+1)^3 and C = 1000
  106. > svm-train -s 1 -n 0.1 -t 2 -g 0.5 -e 0.00001 data_file
  107. Train a classifier by nu-SVM (nu = 0.1) with RBF kernel
  108. exp(-0.5|u-v|^2) and stopping tolerance 0.00001
  109. > svm-train -s 3 -p 0.1 -t 0 -c 10 data_file
  110. Solve SVM regression with linear kernel u'v and C=10, and epsilon = 0.1
  111. in the loss function.
  112. > svm-train -s 0 -c 10 -w1 1 -w-1 5 data_file
  113. Train a classifier with penalty 10 for class 1 and penalty 50
  114. for class -1.
  115. > svm-train -s 0 -c 500 -g 0.1 -v 5 data_file
  116. Do five-fold cross validation for the classifier using
  117. the parameters C = 500 and gamma = 0.1
  118. Library Usage
  119. =============
  120. These functions and structures are declared in the header file `svm.h'.
  121. You need to #include "svm.h" in your C/C++ source files and link your
  122. program with `svm.cpp'. You can see `svm-train.c' and `svm-predict.c'
  123. for examples showing how to use them.
  124. Before you classify test data, you need to construct an SVM model
  125. (`svm_model') using training data. A model can also be saved in
  126. a file for later use. Once an SVM model is available, you can use it
  127. to classify new data.
  128. - Function: struct svm_model *svm_train(const struct svm_problem *prob,
  129. const struct svm_parameter *param);
  130.     This function constructs and returns an SVM model according to
  131.     the given training data and parameters.
  132.     struct svm_problem describes the problem:
  133. struct svm_problem
  134. {
  135. int l;
  136. double *y;
  137. struct svm_node **x;
  138. };
  139.  
  140.     where `l' is the number of training data, and `y' is an array containing
  141.     their target values. (integers in classification, real numbers in
  142.     regression) `x' is an array of pointers, each of which points to a sparse
  143.     representation (array of svm_node) of one training vector.
  144.     For example, if we have the following training data:
  145.     LABEL ATTR1 ATTR2 ATTR3 ATTR4 ATTR5
  146.     ----- ----- ----- ----- ----- -----
  147.       1   0   0.1   0.2   0   0
  148.       2   0   0.1   0.3  -1.2   0
  149.       1   0.4   0   0   0   0
  150.       2   0   0.1   0   1.4   0.5
  151.       3  -0.1  -0.2   0.1   1.1   0.1
  152.     then the components of svm_problem are:
  153.     l = 5
  154.     y -> 1 2 1 2 3
  155.     x -> [ ] -> (2,0.1) (3,0.2) (-1,?)
  156.  [ ] -> (2,0.1) (3,0.3) (4,-1.2) (-1,?)
  157.  [ ] -> (1,0.4) (-1,?)
  158.  [ ] -> (2,0.1) (4,1.4) (5,0.5) (-1,?)
  159.  [ ] -> (1,-0.1) (2,-0.2) (3,0.1) (4,1.1) (5,0.1) (-1,?)
  160.     where (index,value) is stored in the structure `svm_node':
  161. struct svm_node
  162. {
  163. int index;
  164. double value;
  165. };
  166.     index = -1 indicates the end of one vector.
  167.  
  168.     struct svm_parameter describes the parameters of an SVM model:
  169. struct svm_parameter
  170. {
  171. int svm_type;
  172. int kernel_type;
  173. double degree; // for poly
  174. double gamma; // for poly/rbf/sigmoid
  175. double coef0; // for poly/sigmoid
  176. // these are for training only
  177. double cache_size; // in MB
  178. double eps; // stopping criteria
  179. double C; // for C_SVC, EPSILON_SVR, and NU_SVR
  180. int nr_weight; // for C_SVC
  181. int *weight_label; // for C_SVC
  182. double* weight; // for C_SVC
  183. double nu; // for NU_SVC, ONE_CLASS, and NU_SVR
  184. double p; // for EPSILON_SVR
  185. int shrinking; // use the shrinking heuristics
  186. };
  187.     svm_type can be one of C_SVC, NU_SVC, ONE_CLASS, EPSILON_SVR, NU_SVR.
  188.     C_SVC: C-SVM classification
  189.     NU_SVC: nu-SVM classification
  190.     ONE_CLASS: one-class-SVM
  191.     EPSILON_SVR: epsilon-SVM regression
  192.     NU_SVR: nu-SVM regression
  193.     kernel_type can be one of LINEAR, POLY, RBF, SIGMOID.
  194.     LINEAR: u'*v
  195.     POLY: (gamma*u'*v + coef0)^degree
  196.     RBF: exp(-gamma*|u-v|^2)
  197.     SIGMOID: tanh(gamma*u'*v + coef0)
  198.     cache_size is the size of the kernel cache, specified in megabytes.
  199.     C is the cost of constraints violation. (we usually use 1 to 1000)
  200.     eps is the stopping criterion. (we usually use 0.00001 in nu-SVC,
  201.     0.001 in others). nu is the parameter in nu-SVM, nu-SVR, and
  202.     one-class-SVM. p is the epsilon in epsilon-insensitive loss function
  203.     of epsilon-SVM regression. shrinking = 1 means shrinking is conducted;
  204.     = 0 otherwise.
  205.     nr_weight, weight_label, and weight are used to change the penalty
  206.     for some classes (If the weight for a class is not changed, it is
  207.     set to 1). This is useful for training classifier using unbalanced
  208.     input data or with asymmetric misclassification cost.
  209.     nr_weight is the number of elements in the array weight_label and
  210.     weight. Each weight[i] corresponds to weight_label[i], meaning that
  211.     the penalty of class weight_label[i] is scaled by a factor of weight[i].
  212.     
  213.     If you do not want to change penalty for any of the classes,
  214.     just set nr_weight to 0.
  215.     *NOTE* Because svm_model contains pointers to svm_problem, you can
  216.     not free the memory used by svm_problem if you are still using the
  217.     svm_model produced by svm_train().
  218. - Function: double svm_predict(const struct svm_model *model,
  219.                              const struct svm_node *x);
  220.     This function does classification or regression on a test vector x
  221.     given a model.
  222.     For a classification model, the predicted class for x is returned.
  223.     For a regression model, the function value of x calculated using
  224.     the model is returned. For one-class model, +1 or -1 is returned.
  225. - Function: int svm_save_model(const char *model_file_name,
  226.        const struct svm_model *model);
  227.     This function saves a model to a file; returns 0 on success, or -1
  228.     if an error occurs.
  229. - Function: struct svm_model *svm_load_model(const char *model_file_name);
  230.     This function returns a pointer to the model read from the file,
  231.     or a null pointer if the model could not be loaded.
  232. - Function: void svm_destroy_model(struct svm_model *model);
  233.     This function frees the memory used by a model.
  234. Java version
  235. ============
  236. The precompiled java class archive `libsvm.jar' and its source files are
  237. in the java subdirectory. To run the programs, use
  238. java -classpath libsvm.jar svm_train <arguments>
  239. java -classpath libsvm.jar svm_predict <arguments>
  240. java -classpath libsvm.jar svm_toy
  241. We have tried IBM's and Sun's JDK.
  242. You may need to add Java runtime library (like classes.zip) to the classpath.
  243. You may need to increase maximum Java heap size.
  244. Library usages are similar to the C version. These functions are available:
  245. public class svm {
  246. public static svm_model svm_train(svm_problem prob, svm_parameter param);
  247. public static double svm_predict(svm_model model, svm_node[] x);
  248. public static void svm_save_model(String model_file_name, svm_model model) throws IOException
  249. public static svm_model svm_load_model(String model_file_name) throws IOException
  250. }
  251. The library is in the "libsvm" package.
  252. Note that in Java version, svm_node[] is not ended with a node whose index = -1.
  253. ADDITIONAL INFORMATION
  254. ============
  255. Chih-Chung Chang and Chih-Jen Lin
  256. LIBSVM : a library for support vector machines.
  257. http://www.csie.ntu.edu.tw/~cjlin/papers/libsvm.ps.gz
  258. Acknowledgments:
  259. This work was supported in part by the National Science 
  260. Council of Taiwan via the grant NSC 89-2213-E-002-013.
  261. The authors thank Chih-Wei Hsu and Jen-Hao Lee
  262. for many helpful discussions and comments.