唐家三少,好看的玄幻小说,已完结小说排行榜

本實驗用于驗證低秩矩陣恢復算法，將一個低秩的A+稀疏的E得到觀測的D，希望從D中恢復出低秩的A。

魯棒主成分分析算法

1　PCA的原理和魯棒性

T設輸入x為n維的零均值的隨機向量。W={w1,w2,…,wm}為n×m維的變換矩陣(m<n),y=Wx

為變換后的隨機向量。則y稱為隨機向量x的m維主成分,如果

2(1)wi=argmax{E(vTix)}vi

并且n維向量vi滿足約束條件

α本文于1996年7月20日收到

本文得到國家自然科學基金資助

清華大學智能技術與系統國家重點實驗室開放課題基金資助

10系統工程理論與實踐

vTivj=0　　Πj≠i

vTivi=11998年1月(2)

i=1,2,…,m。wi稱為隨機向量x的第i主方向。其中E表示求期望。

傳統上,變換矩陣W可以通過對輸人隨機向量x的協方差矩陣進行特征值分解來獲得。設S=E{xxT}為x的協方差矩陣,由于S是正定對稱矩陣,所以存在n個不同的正特征值。不妨設為Κ1>Κ2>…>

。因此構成W的m個主方向滿足Κn,眾所周知第i主方向wi就是Κi所對應的單位特征向量

Swi=Κiwi　　i=1,2,…,m(3)

在實際分析過程中,往往通過統計的辦法來估計。給定一個數據集{xi},j=1,2,…,N,可得x的協方差矩陣S的估計為

δS=Nδ進行特征值分解和排序可以得到Κδi和Wδ對Si和W的估計值Κδδδwδ　　i=1,2,…,mSw=Κiii6NxixTi(4)i=1(5)

當前對PCA魯棒性的考慮主要有兩個角度:

一是考慮如何能夠達到輸出的各主成分之間相互獨立。這樣就可以把一個多輸入的問題分解為多個相互獨立的單輸入的問題來考慮。毫無疑問,無論輸入隨機向量x服從何種分布,統計PCA算法得到的m個主成分之間一定是互不相關的,變換為一個對角矩陣,其非對角元(,PCA算法獲得的各主成分相互獨立當且僅當輸入Sn,即其密度函數f)2-()T-1xSx2(6),因此得到的主成分只能。因此,如何在非高斯分布輸入的情形下實現各主成分相互獨立就成為PCA算法魯棒性研究的一個主要方向。

現有的主要方法是根據已知的輸入樣本分布,引入適當的非線性處理環節,提出所謂非線性PCA的算法。這樣,就考慮了輸入的高階統計特性,從而實現輸出主成分的相互獨立。在此基礎上,有人提出了獨立成分分析(ICA)的概念[3],并且得到了高度的重視。

二是考慮如何去除或減弱有限的訓練樣本集中少量“劣點”樣本的影響從而獲得準確主方向。所謂“劣點”樣本,直觀上是指與樣本集中絕大部分樣本分布差異過大的極少量樣本,它們的存在使得PCA的計算結果會出現很大的誤差[2]。“劣點”的產生原因是多方面的,例如突發的隨機噪聲,測量或者記錄的偶爾出錯等等。另外,由于樣本數是有限的,即使所有樣本都是由同一分布產生的,也有可能因為樣本數不足從而使得其中少量樣本成為實際上的“劣點”樣本。因此,從克服“劣點”樣本的影響出發是PCA算法魯棒性研究的另一個主要方向。

顯然第一種研究方法有著重大的理論意義。它在信號分離理論這一研究領域已經得到高度的重視。但是在系統科學和系統工程領域,由于實際應用中往往輸人樣本的分布是未知的;同時由于樣本集有限,基于非高斯分布輸入的獨立成分分析方法不能很好地消除“劣點”樣本對算法魯棒性的影響,難以獲得準確的主方向。故而從消除或減弱“劣點”的影響出發研究PCA的魯棒性有著更為重要的實際意義。

另外,在系統科學和系統工程的很多應用領域中,找出樣本集中的少量“劣點”樣本本身也是很有意義的工作。例如對一段時間的股票數據進行的分析可以找到其最具特殊性的時間段,從而能夠進行深入研究以發現其產生的規律和原因。因此,從去除“劣點”影響的角度建立魯棒PCA算法拓寬了PCA的應用范圍。