Szkoła doktorska Politechniki Warszawskiej

Dominującym obecnie podejściem do uczenia się reprezentacji jest wstępne trenowanie dużych modeli bazowych na ogromnych statycznych zbiorach danych, co kontrastuje ze stale zmieniającym się i poszerzającym się charakterem danych dostępnych w Internecie. Proponowane badania dotyczą nowego paradygmatu, w którym zbiór danych uczących jest konstruowany ad-hoc poprzez bieżące przeszukiwanie Internetu, umożliwiając efektywne dostosowanie modeli do wybranych zadań docelowych. Celem proponowanego projektu jest między innymi: 1) zaprojektowanie metod poszukiwania odpowiednich danych uczących w Internecie i wykorzystanie ich do ustawicznej adaptacji modelu, 2) przeprowadzenie badan dotyczących konstrukcji metod samonadzorowanych (ang. self-supervised), które dla zadanego problemu: a) samodzielnie definiują metodę jego rozwiązania, b) przeszukują Internet w celu znalezienie odpowiednich danych uczących oraz c) wykorzystują znalezione dane do iteracyjnej optymalizacji modelu.

• Słowa kluczowe: Large Language Models | Machine learning | Representation learning | Uczenie głębokie | Uczenie maszynowe | Deep learning | Uczenie się reprezentacji | Wielkie modele językowe | Adapacja online | Online adaptation |