Tantárgy adatlapja
Főkomponens-analízis és alkalmazásai
Célja: Bevezetés: A főkomponens-analízis, és egy hozzá kapcsolható hagyományos (a nyolcvanas évektől: Oja féle algoritmus) valamint egy modern (az ezredforduló után: tömörített érzékelés (compressed sensing)) módszer ismertetése
Tematikai összefoglalás:
1.) A szimplex módszer és az általa egy minusz epszilon valószínűséggel igényelt lépésszám. Hasonló típusú eredmények a kombinatorikus optimalizáció témaköréből.
2.) Főkomponens-analízis. Geometriai jelentés. Kapcsolat mátrixok szinguláris felbontásával.
3.) Az Oja-féle algoritmus neurális hálókban. Kapcsolat a főkomponens-analízissel.
4.) Az Oja-féle algoritmus konvergenciakérdései. Kapcsolat a gradiens-rendszerek elméletével.
5.) Nagyméretű de kicsiny rangú ritka mátrixok rekonstruálása kevés számú mintavétel alapján.
6.) Tömörített érzékelés (compressed sensing). Kapcsolat konvex optimalizálási algoritmusokkal.
7.) Adatfeldolgozási alkalmazások. Jelek rekonstruálása kevés adatból.
A számonkérés módja: vizsga, amelynek lényegi része beszámoló választott szakcikk alapján
Irodalom:
Rövid bevezetés:
J Shlens, A Tutorial on Principal Component Analysis, San Diego, 2005
A most következő két könyv kis részletei:
KH Borgwardt, The Simplex Method, a Probabilistic Analysis, Springer, Berlin, 1987.
R Rojas: Neural Networks, Springer, Berlin, 1996.
Továbbá és elsődlegesen: összefoglaló cikkek, közöttük
E.J.Candes, Compressive Sampling, Proc. Int. Conf. Math. Madrid, 2006.
Principal component analysis and applications
Objective of the course: An introduction. Principal component analysis and a related classical (from the eighties onward: Oja’s algorithm) as well as a related modern (in the last decade: compressed sensing) method
Course summary:
1.) The symplex method and its number of steps required with probability one minus epsilon. Similar results from combinatorial optimization.
2.) Principal component analysis. Geometric interpretation. Connections to singular value decomposition of matrices.
3.) Oja’s algorithm in neural networks. Connections to principal component analysis.
4.) Convergence questions of Oja’s algorithm. Connections to gradient systems.
5.) Reconstruction of small rank, large, sparse matrices on the basis of relatively few samples.
6.) Compressed sensing. Connections to algorithms of convex optimization.
7.) Application to data processing. Signal reconstruction from small amount of data.
Assessment: exam, including the presentation of a research article
Literature:
A short introduction:
J. Shlens, A Tutorial on Principal Component Analysis, San Diego, 2005 (electronic)
Several pages from the two books below:
K.H. Borgwardt, The Simplex Method, a Probabilistic Analysis, Springer, Berlin, 1987.
R. Rojas: Neural Networks, Springer, Berlin, 1996.
In addition, and mainly, survey papers including:
E.J.Candes, Compressive Sampling, Proc. Int. Conf. Math. Madrid, 2006.
