Tantárgy adatlapja
Az elmúlt években robbanásszerű fejlődésen estek át a kommerciális hasznosításban lévő mesterséges intelligencia architektúrák. A tanulás alapját képező adat mérete több nagyságrendet nőtt, a hasznosítás szempontjából lényeges pontosság ugrásszerűen javult.
Eszköztárunk bővítéséhez jól jöhet néhány részletük megértése, ami a gépi tanításaink eredményének hatékonyabb felhasználhatóságát biztosítja. Egy ideális belső reprezentáció könnyen interpretálható és egyszerű belőle tovább építkezni, a rejtett összefüggéseket megtalálni.
A tárgy keretében arra vállalkozunk, hogy néhány érdekes cikken keresztül jobban megértsük a self-supervised learning és a bayesian structrue learning egy-egy gyakorlait szempontból is fontos alkalmazását, illetve a nagy, több célú modellek létrehozásának két alapvető elemét.
Példáink fókusza a gépi látás és biológiai adat elemzés.
Válogatott irodalom:
1. A Simple Framework for Contrastive Learning of Visual Representations - https://arxiv.org/pdf/2002.05709v3.pdf example: https://github.com/facebookresearch/vissl
2. Masked Autoencoders Are Scalable Vision Learners - https://arxiv.org/pdf/2002.05709v3.pdf
example: MMSelfSup framework
https://github.com/open-mmlab/mmselfsup/tree/main/configs/selfsup/mae
https://github.com/open-mmlab/mmselfsup/tree/main/configs/selfsup/maskfeat
3. Bayesian Structure Learning with Generative Flow Networks - https://arxiv.org/abs/2202.13903
example: https://github.com/tristandeleu/jax-dag-gflownet
Building big models:
4. A ubiquitous structural pattern - A növekvő modellek belső szervezése
Towards Understanding Mixture of Experts in Deep Learning - https://arxiv.org/pdf/2208.02813.pdf
5. Under the hood - efficient trainging / A növekvő modellek hatékony tanítása
ZeRO: Memory Optimizations Toward Training Trillion Parameter Models - https://arxiv.org/pdf/1910.02054.pdf
example (focus on MMSelfSup): https://github.com/microsoft/DeepSpeed
