Tantárgy adatlapja
Tárgy neve: Nyelvtechnológia és neurális hálók
Tárgy kódja: P_DO_0288
Óraszám: N: 3/2/0, L: 0/0/0
Kreditérték: 6
Az oktatás nyelve: magyar
Követelmény típus: Gyakorlati jegy
Felelős kar: ITK
Felelős szervezeti egység: ITK Doktori és Habilitációs Iroda
Tárgyfelelős oktató:
Dr. Prószéky Gábor
Tárgyleírás:
A tantárgy tematikájának rövid leírása:
- A különféle nyelvek és írások formai sajátosságai.
- A formálisnyelv- és az automataelmélet alkalmazásai a nyelvtechnológiában.
- A számítógépes nyelvleírás szimbolikus, statisztikai és neurálishálós közelítése.
- A neurális hálók megjelenése a nyelvtechnológiában.
- Vektoros reprezentációk, vektorterek.
- A szóbeágyazási módszerek kialakulása.
- A szóbeágyazás alkalmazásai.
- Magasabb szintű vektorreprezentációk.
- Figyelmi mechanizmusok, transzformerek.
- Enkóderek és dekóderek.
- A generatív MI alkalmazásai a nyelvtechnológiában.
- Finomhangolás és nyelvi alkalmazások.
- Promptkészítési meggondolások.
-
>A konfabulálás problematikája.
Válogatott szakirodalom:
- Jurafsky, D., & Martin, J. H. (2021). Speech and Language Processing. Pearson.
- Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781.
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems.
- Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv preprint arXiv:1810.04805.
- Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Language models are unsupervised multitask learners. OpenAI.
- Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., … & Amodei, D. (2020). Language models are few-shot learners. arXiv preprint arXiv:2005.14165.
- Gao, T., Fisch, A., & Chen, D. (2021). Making pre-trained language models better few-shot learners. arXiv preprint arXiv:2012.15723
