Wykaz obszarów badawczych związanych z tagiem Uczenie-się-reprezentacji:
| # | Obszar badawczy | Dziedzina naukowa |
|---|---|---|
| 1 |
Metody samonadzorowanego uczenia się (ang. Self-Supervised Learning - SSL) posiadają potencjał do istotnej poprawy wydajności procesu uczenia głębokiego. Kontrastowe metody SSL stały się standardowym podejściem wstępnego pre-trenowania w szeregu dziedzin, takich jak przetwarzanie języka naturalnego (NLP) czy wizja komputerowa (CV). Wstępne wyniki sugerują, że niekontrastowe metody SSL są w stanie istotnie zbliżyć się do wydajności metod kontrastowych, eliminując jednocześnie potrzebę konstruowania explicite negatywnych próbek/przykładów uczących. Celem proponowanych badań jest między innymi: 1) zweryfikowanie w jakim stopniu metody kontrastowe i niekontrastowe mogą być stosowane w nowatorskich architekturach SSL, 2) sprawdzenie czy dopasowanie reprezentacji w SSL można osiągnąć metodami alternatywnymi, takimi jak jako wymuszanie zdolności przewidywania reprezentacji próbki wejściowej na podstawie reprezentacji innych, podobnych do niej próbek.
|
|
| 2 |
Dominującym obecnie podejściem do uczenia się reprezentacji jest wstępne trenowanie dużych modeli bazowych na ogromnych statycznych zbiorach danych, co kontrastuje ze stale zmieniającym się i poszerzającym się charakterem danych dostępnych w Internecie. Proponowane badania dotyczą nowego paradygmatu, w którym zbiór danych uczących jest konstruowany ad-hoc poprzez bieżące przeszukiwanie Internetu, umożliwiając efektywne dostosowanie modeli do wybranych zadań docelowych. Celem proponowanego projektu jest między innymi: 1) zaprojektowanie metod poszukiwania odpowiednich danych uczących w Internecie i wykorzystanie ich do ustawicznej adaptacji modelu, 2) przeprowadzenie badan dotyczących konstrukcji metod samonadzorowanych (ang. self-supervised), które dla zadanego problemu: a) samodzielnie definiują metodę jego rozwiązania, b) przeszukują Internet w celu znalezienie odpowiednich danych uczących oraz c) wykorzystują znalezione dane do iteracyjnej optymalizacji modelu.
|