svm

  1. 历史
    1. 原始SVM算法是由弗拉基米尔·万普尼克和亚历克塞·泽范兰杰斯于1963年发明的。
    2. 1992年,Bernhard E. Boser,Isabelle M. Guyon和弗拉基米尔·万普尼克提出了解一种通过将核技巧应用于最大间隔超平面来创建非线性分​​类器的方法。
      1. 由拉格朗日对偶简化原始问题,引入核方法。
    3. 当前标准的前身(软间隔)由Corinna Cortes和Vapnik于1993年提出,并于1995年发表 Support-Vector Networks https://dl.acm.org/citation.cfm?id=218929
    4. SMO 算法是由 Microsoft Research 的 John C. Platt 在 1998 年发表的一篇论 文《SequentialMinimalOptimizationAFastAlgorithmforTrainingSupportVectorMachines》
  2. wiki:
    1. https://zh.wikipedia.org/zh-cn/%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA
    2. https://en.wikipedia.org/wiki/Support_vector_machine
  3. 支持向量机通俗导论(理解SVM的三层境界)https://blog.csdn.net/macyang/article/details/38782399/
  4. 线性代数-向量内积 http://dec3.jlu.edu.cn/webcourse/t000022/teach/chapter5/5_1.htm
  5. 老冯经典之作:纯白板手推SVM http://www.julyedu.com/video/play/18/429
  6. SVM Tutorial: Classification, Regression, and Ranking
    1. https://x-algo.cn/wp-content/uploads/2016/08/SVM-Tutorial-Classification-Regression-and-Ranking.pdf
  7. 核函数
    1. 讲解非常好的教程(里面有讲解 sigmod 函数和多项式的具体展开 。):
      1. ML Lecture 20: Support Vector Machine (SVM) 李弘毅 https://www.youtube.com/watch?v=QSEPStBgwRQ
      2. svm 两个重要的点都有讲解(hinge loss, max margin)
    2. 数据挖掘十大算法 – 核函数 https://wizardforcel.gitbooks.io/dm-algo-top10/content/svm-4.html
  8. libsvm
    1. https://www.csie.ntu.edu.tw/~cjlin/libsvm/
      1. 各种对svm的扩展案例: https://www.csie.ntu.edu.tw/~cjlin/libsvmtools/
    2. svm 可用数据集合:https://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/
      1. rank
          1. 开源实现
            1. Large-scale rankSVM 
            2. http://www.cs.cornell.edu/people/tj/svm_light/svm_rank.html
          2. ranksvm原理 https://x-algo.cn/index.php/2016/08/09/ranksvm/
          3. RankSvm-基于点击数据的搜索排序算法 http://kubicode.me/2016/03/30/Machine%20Learning/RankSvm-Optimizing-Search-Engines-using-Clickthrough-Data/
          4. 应用场景
            1. 爱奇艺推荐系统架构与实践 王敏 2015 https://doc.mbalib.com/view/0fa428227a455b044575fec09310453a.html
            2. 机器学习在搜索排序中的应用 一淘及搜索事业部-搜索技术 仁重 http://topic.it168.com/factory/adc2013/doc/zenganxiang.pptx
            3. Learning To Rank在个性化电商搜索中的应用 吴晨(搜索BG) https://myslide.cn/slides/958
          5. 相关论文:
            1. Adapting Ranking SVM to Document Retrieval http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.136.9218&rep=rep1&type=pdf
      2. 点击转化率预测
        1. https://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/binary.html#avazu
      3. 多分类:
        1. poker(德州扑克手牌的分类) https://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/multiclass.html
        2. 来源: https://archive.ics.uci.edu/ml/datasets/Poker+Hand
        3. 相关论文:
          1. https://www.seas.upenn.edu/~cse400/CSE400_2006_2007/Pfund/PfundPaper.pdf Support Vector Machines in the Machine Learning Classifier for a Texas Hold’em Poker Bot
          2. http://www.wseas.us/e-library/conferences/crete2002/papers/444-494.pdf Evolutionary Data Mining With Automatic Rule Generalization
          3. https://pdfs.semanticscholar.org/905a/0f27e520b3f2627863f9fa94a87fda7060cd.pdf NN-based Poker Hand Classification and Game Playing
          4. https://eembdersler.files.wordpress.com/2010/09/2014913024-gokaydisken-project.pdf PREDICTING POKER HAND’S STRENGTH WITH ARTIFICIAL NEURAL NETWORKS
        4. 自己处理 https://github.com/whomm/pokerhand
          1. 把花色 和 大小映射到 1 – 52 之间 直接使用 svm -t 2 -c 100
            1. ../libsvm-3.23/svm-train -t 2 -c 100 ./poker.t
            2. awk -f mpre.awk poker >mp
            3. awk -f mpre.awk poker.t >mp.t
            4. 训练数据准确率Accuracy = 92.527% (23141/25010) (classification)
            5. 随机10000条测试数据 Accuracy = 28.06% (2806/10000) (classification)
          2. mlp 方法
            1. hidden_layer_sizes=(260,156,52), =’tanh’, solver=’lbfgs’, 正确率 98.92%,这个是对于测试集合的一个随机的样本,但是对于特定分类的准确率没有意义。
            2. 特定分类的准确率会很低 , 9 分类的数据就几条训练不出好的模型。

发表评论

电子邮件地址不会被公开。 必填项已用*标注