次序迴歸及其應用：支持向量機學習法
Ordinal regression and applications: A support vector machine approach
Ordinal regression and applications: A support vector machine approach
以下分為三部份：(一)"結論和討論"、(二)"實驗圖表和結果" 和 (三)"研究所資料 及 論文參考文獻"。
(一)、結論和討論
動機：
由於次序型資料在日常生活中已隨處可見且日益重要，尤其在疾病資料的分析上和影像檢索領域上更顯為重要。因此本文利用Herbrich建立次序迴歸演算法的方法為基礎，以不同懲罰係數的支持向量機學習法結合累積羅吉斯模型建立新的次序迴歸演算法。
實驗方法：
本文實驗中，我們分別利用Herbrich[1]模擬資料集的方式創造新的次序型資料集和以CHU WEI網頁的糖尿病資料集(diabetes)做為樣本集合，以Herbrich次序迴歸演算法和我們的新的演算法分析次序型資料並比較分析結果的差異。
實驗結果：
在模擬資料上，我們的演算法所得出的次序型資料的平均風險較低，而在diabetes資料集上，我們的演算法解決了在以Herbrich次序迴歸演算法分析diabetes資料集時，閥值產生錯置的問題，並說明我們的演算法可依樣本的重要性，以不同的懲罰係數訓練出更佳的對應函數。另外我們模擬用戶進行相關性回饋後，以我們的次序迴歸演算法為基礎來產生檢索結果，達到不錯的效果。最後，為了避免系統在處理次序迴歸演算法的最佳化問題時，產生記憶體不足，因此我們還討論最大增益的單變數SMO來解決此問題，其中本文在單變數SMO上更新位置的取法使得SMO求解時，更加的快速，才得以使得演算法更加的有效且具有實用性。
<-- music -->
(二)、實驗圖表和結果
<--- 以下為 上述之 實驗圖表和結果 ---->
2.一般資料集(diabetes資料集)：解決閥值產生錯置的問題，並找出更佳的對應函數
圖4.4 其中(A)和(B)中的樣本點為DIABETES資料集所提供，以我們的次序迴歸演算法(不同懲罰係數+CLM)在線性核函數下之結果，各圖之左方為輸入空間下訓練集資料，右方的橫軸為其訓練集資料之效用值，縱軸高度為其效用值之等級。
表4.5 “\”左方為相同懲罰係下，不同等級錯置個數，右方為不同懲罰係下，在不同等級錯置個數。
3.影像資料集(找 整隻老虎 的圖像)：模擬用戶進行相關性回饋後，以次序迴歸演算法產生檢索結果(Iter表示用戶回饋次數)
核函數為RBF，取sig=0.1，懲罰係數由大到小分別為3000、2000和1000，其實驗結果如圖4.15。
圖4.14 相關性等級，本實驗相關令為1，次相關令為0，不相關定為-1。
圖4.15實驗結果：其中括號內為老虎的(相關命中率/次相關命中率)，即各等級在前10張內所占的比率。
(三)、研究所資料 及 論文參考文獻
<!-- 研究所資料 及 論文參考文獻 -->
=========================
軟體：
EndNote(論文整理)： Export->RIS(開啟OR下載開啟)->會自動匯入EndNote、 IEEE->Download Citation->EndNote->OK
1.論文前段
中譯:： TEXT MINING(text mining )
SVM(support vector machines, 用來train 樣本的機器學習法)：
李政軒SVM :http://www.powercam.cc/chli
SVM通俗讲解
在Ｒ中使用支持向量机(SVM)（１）
几类支持向量机变型算法的研究
核函数支持向量机
支持向量机的理论与算法研究(信号与信息处理专业优秀论文)
SVM的PRIMLE 和DUAL RELATION
SVM
SVM(VIDEO)
SMO(Sequential Minimal Optimization, 實現SVM的數值方法)：
1.Improvements to Platt's SMO Algorithm for SVM Classifier Design
2.http://www.cnblogs.com/vivounicorn/archive/2011/08/25/2152824.html
3.icml08_catanzaro_fsvm_01.pptx
http://videolectures.net/icml08_catanzaro_fsvm/
4.SMO心得.doc
5.keerthi.m
暫時 的空間： CJB(CHU 的實驗結果 和資料集位置)
Image Retrieval (影像: 像素->特徵向量)：
Feature vector：五顆星(颜色和纹理特征相结合的图像检索算法研究)
texture vector：GLCM(林宸生、林祐菖)、PAPER、Matlab 中文1 2
GABOR、C
Gabor wavelets transform(Matlab CODE)、Texture features for browsing and retrieval of image data
基于二维Gabor变换的图像分解与重构技术研究(Gabor 变换)
FT(Fourier Transform)：丁建均(Time-Frequency Analysis and Wavelet Transform、BBS)、交大OCW
(MIT)Image Representation and Classification、paper
基于本体的图像检索相关技术研究
论文小波分析l03
用matlab小波分析的实例
easy matlab code4
web.ing.puc.cl dmery FeatureExtraction
fourier transform
Digital Singnal Processing
FeatureExtractor
Matlab：Morlet wavelet
邊緣向量直方圖(Edge Direction Histogram, EDH)
http://www.docin.com/p-63924710.html
梯度（離散）
邊緣保持的影像去雜訊研究
canny
sift尺度不变特征变换匹配算法
MATLAB：中文、
http://dasl.mem.drexel.edu/alumni/bGreen/www.pages.drexel.edu/_weg22/can_tut.html
http://www.zdh1909.com/html/matlab/16199.html
http://www.sfileydy.com/bbs/viewthread.php?tid=117028
http://eportfolio.ncut.edu.tw/~39517040/wiki/index.php/matlab
http://lipingke.blog.hexun.com.tw/38725186_d.html
http://www.ymlib.net/article/sort010/info-3088.html
gua smooth filter
conv、PROOF
compare
單元五、空間濾波
http://wenku.baidu.com/view/6245f3d376eeaeaad1f330bd.html
http://www.ece.unm.edu/signals/signals/Discrete_Convolution/discrete_convolution.html
convolution：proof
CANNY
canny算法 改善
图像Canny边缘检测的程序设计 毕业论文
Canny算子(wiki)
單元六、邊緣偵測
Canny边缘检测器
測邊 Edge Detection
The Canny Edge Detector
roborealm
2.論文後段
Rank SVM：
用于信息检索的代价敏感排序学习算法研究
Blog IR
"基于综合特征的图像检索及相关反馈方法研究"
http://wenku.baidu.com/view/63be2507e87101f69e3195f9.html
SVOR
R94922044 黃子桓
加權SVOR
Alex J. Smola and Bernhard Sch¨olkopf
KKT
卡羅需－庫恩－塔克條件
The Karush-Kuhn-Tucker (KKT) conditions
Convex Optimization
Karush的Kuhn - Tucker條件
The Karush-Kuhn-Tucker Theorem
QP
Lec-35 Quadratic Programming
二次规划的算法研究
基于SVMSigmoid的汉语组块识别
QBE-Query By Example
CLM
Kernel：type
參考文獻
[1]. Herbrich, T. Graepel, and K. Obermayer, “Large margin rank boundaries for ordinal regression” , In Advances in Large Margin Classifiers, pages 115–132. MIT Press, 2000.
[2]. John C. Platt, “Probabilities for SV Machines”, In Advances in Large Margin Classifiers, pages 63–73. MIT Press, 2000.
[3]. J. Platt. “ Sequential minimal optimization: A Fast Algorithm for Training Support Vector Machines”. Technical Report MSR-TR-98- 14, Microsoft Research, 1998.
[4]. H. Wu, H.Q. Lu, S.D. Ma, “A Practical SVM-Based Algorithm for Ordinal Regression in Image Retrieval”. ACM Multimedia, 2003, Berkeley, USA.
[5]. Hastie, T., Tibshirani, R., and Friedman, J., “The Elements of Statistical Learning”, Springer series in statistics, 2009, 2nd Edition.
[6]. J. Xu, Y. Cao, H. Li, and Y. Huang, “Cost-sensitive learning of svm for ranking” , Proc. ECML, 2006.
[7]. Christensen, R. H. B. (2011). Analysis of ordinal data with cumulative link models — estimation with the ordinal package. R-package version 2011.09-13.
[8]. MATLAB version 7.10.0.499. Natick, Massachusetts: The MathWorks Inc., 2010.
[9]. 吳洪,盧漢青,馬頌德. “基於內容圖像檢索中相關回饋技術的回顧”.電腦學報,2005,28(12):1969-1979. Wu Hong, Lu Han-qing, Ma Song-de. “A survey of relevance feedback techniques in content-based image retrieval”. Chinese Journal of Computers, 2005, 28(12): 1969-1979.(in Chinese)
[10]. R.-E. Fan, P.-H. Chen, and C.-J. Lin.“Working Set Selection Using Second Order Information for Training SVM”. Journal of Machine Learning Research, 6(2005), 1889-1918.
[11]. L. Bottou, C.J. Lin, “Support Vector Machine Solvers”, in “Large Scale Learning Machines”, edited by L. Bottou, O. Chapelle, D. DeCoste, J. Weston, The MIT Press, pp. 1–28, 2007.
準備口試：字典、論文/專題 口試準備事項、PT LECTUE
-------
可用圖：JP
-------
Matlab!!：BOOK
R：R 學習筆記(舊站)
DSP：丁建均、
MACHINE VISION
=========================
[+/-] 顯示/隱藏 "<研究所資料 及 論文參考文獻>"
/////軟體：
EndNote(論文整理)： Export->RIS(開啟OR下載開啟)->會自動匯入EndNote、 IEEE->Download Citation->EndNote->OK
1.論文前段
中譯:： TEXT MINING(text mining )
SVM(support vector machines, 用來train 樣本的機器學習法)：
李政軒SVM :http://www.powercam.cc/chli
SVM通俗讲解
在Ｒ中使用支持向量机(SVM)（１）
几类支持向量机变型算法的研究
核函数支持向量机
支持向量机的理论与算法研究(信号与信息处理专业优秀论文)
SVM的PRIMLE 和DUAL RELATION
SVM
SVM(VIDEO)
SMO(Sequential Minimal Optimization, 實現SVM的數值方法)：
1.Improvements to Platt's SMO Algorithm for SVM Classifier Design
2.http://www.cnblogs.com/vivounicorn/archive/2011/08/25/2152824.html
3.icml08_catanzaro_fsvm_01.pptx
http://videolectures.net/icml08_catanzaro_fsvm/
4.SMO心得.doc
5.keerthi.m
暫時 的空間： CJB(CHU 的實驗結果 和資料集位置)
Image Retrieval (影像: 像素->特徵向量)：
Feature vector：五顆星(颜色和纹理特征相结合的图像检索算法研究)
texture vector：GLCM(林宸生、林祐菖)、PAPER、Matlab 中文1 2
GABOR、C
Gabor wavelets transform(Matlab CODE)、Texture features for browsing and retrieval of image data
基于二维Gabor变换的图像分解与重构技术研究(Gabor 变换)
FT(Fourier Transform)：丁建均(Time-Frequency Analysis and Wavelet Transform、BBS)、交大OCW
(MIT)Image Representation and Classification、paper
基于本体的图像检索相关技术研究
论文小波分析l03
用matlab小波分析的实例
easy matlab code4
web.ing.puc.cl dmery FeatureExtraction
fourier transform
Digital Singnal Processing
FeatureExtractor
Matlab：Morlet wavelet
邊緣向量直方圖(Edge Direction Histogram, EDH)
http://www.docin.com/p-63924710.html
梯度（離散）
邊緣保持的影像去雜訊研究
canny
sift尺度不变特征变换匹配算法
MATLAB：中文、
http://dasl.mem.drexel.edu/alumni/bGreen/www.pages.drexel.edu/_weg22/can_tut.html
http://www.zdh1909.com/html/matlab/16199.html
http://www.sfileydy.com/bbs/viewthread.php?tid=117028
http://eportfolio.ncut.edu.tw/~39517040/wiki/index.php/matlab
http://lipingke.blog.hexun.com.tw/38725186_d.html
http://www.ymlib.net/article/sort010/info-3088.html
gua smooth filter
conv、PROOF
compare
單元五、空間濾波
http://wenku.baidu.com/view/6245f3d376eeaeaad1f330bd.html
http://www.ece.unm.edu/signals/signals/Discrete_Convolution/discrete_convolution.html
convolution：proof
CANNY
canny算法 改善
图像Canny边缘检测的程序设计 毕业论文
Canny算子(wiki)
單元六、邊緣偵測
Canny边缘检测器
測邊 Edge Detection
The Canny Edge Detector
roborealm
2.論文後段
Rank SVM：
用于信息检索的代价敏感排序学习算法研究
Blog IR
"基于综合特征的图像检索及相关反馈方法研究"
http://wenku.baidu.com/view/63be2507e87101f69e3195f9.html
SVOR
R94922044 黃子桓
加權SVOR
Alex J. Smola and Bernhard Sch¨olkopf
KKT
卡羅需－庫恩－塔克條件
The Karush-Kuhn-Tucker (KKT) conditions
Convex Optimization
Karush的Kuhn - Tucker條件
The Karush-Kuhn-Tucker Theorem
QP
Lec-35 Quadratic Programming
二次规划的算法研究
基于SVMSigmoid的汉语组块识别
QBE-Query By Example
CLM
Kernel：type
參考文獻
[1]. Herbrich, T. Graepel, and K. Obermayer, “Large margin rank boundaries for ordinal regression” , In Advances in Large Margin Classifiers, pages 115–132. MIT Press, 2000.
[2]. John C. Platt, “Probabilities for SV Machines”, In Advances in Large Margin Classifiers, pages 63–73. MIT Press, 2000.
[3]. J. Platt. “ Sequential minimal optimization: A Fast Algorithm for Training Support Vector Machines”. Technical Report MSR-TR-98- 14, Microsoft Research, 1998.
[4]. H. Wu, H.Q. Lu, S.D. Ma, “A Practical SVM-Based Algorithm for Ordinal Regression in Image Retrieval”. ACM Multimedia, 2003, Berkeley, USA.
[5]. Hastie, T., Tibshirani, R., and Friedman, J., “The Elements of Statistical Learning”, Springer series in statistics, 2009, 2nd Edition.
[6]. J. Xu, Y. Cao, H. Li, and Y. Huang, “Cost-sensitive learning of svm for ranking” , Proc. ECML, 2006.
[7]. Christensen, R. H. B. (2011). Analysis of ordinal data with cumulative link models — estimation with the ordinal package. R-package version 2011.09-13.
[8]. MATLAB version 7.10.0.499. Natick, Massachusetts: The MathWorks Inc., 2010.
[9]. 吳洪,盧漢青,馬頌德. “基於內容圖像檢索中相關回饋技術的回顧”.電腦學報,2005,28(12):1969-1979. Wu Hong, Lu Han-qing, Ma Song-de. “A survey of relevance feedback techniques in content-based image retrieval”. Chinese Journal of Computers, 2005, 28(12): 1969-1979.(in Chinese)
[10]. R.-E. Fan, P.-H. Chen, and C.-J. Lin.“Working Set Selection Using Second Order Information for Training SVM”. Journal of Machine Learning Research, 6(2005), 1889-1918.
[11]. L. Bottou, C.J. Lin, “Support Vector Machine Solvers”, in “Large Scale Learning Machines”, edited by L. Bottou, O. Chapelle, D. DeCoste, J. Weston, The MIT Press, pp. 1–28, 2007.
準備口試：字典、論文/專題 口試準備事項、PT LECTUE
-------
可用圖：JP
-------
Matlab!!：BOOK
R：R 學習筆記(舊站)
DSP：丁建均、
MACHINE VISION
=========================
[+/-] 顯示/隱藏 "<研究所資料 及 論文參考文獻>"
Machine Learning：Andrew Ng
沒有留言:
張貼留言