Szkoła doktorska Politechniki Warszawskiej

Metody samonadzorowanego uczenia się (ang. Self-Supervised Learning - SSL) posiadają potencjał do istotnej poprawy wydajności procesu uczenia głębokiego. Kontrastowe metody SSL stały się standardowym podejściem wstępnego pre-trenowania w szeregu dziedzin, takich jak przetwarzanie języka naturalnego (NLP) czy wizja komputerowa (CV). Wstępne wyniki sugerują, że niekontrastowe metody SSL są w stanie istotnie zbliżyć się do wydajności metod kontrastowych, eliminując jednocześnie potrzebę konstruowania explicite negatywnych próbek/przykładów uczących. Celem proponowanych badań jest między innymi: 1) zweryfikowanie w jakim stopniu metody kontrastowe i niekontrastowe mogą być stosowane w nowatorskich architekturach SSL, 2) sprawdzenie czy dopasowanie reprezentacji w SSL można osiągnąć metodami alternatywnymi, takimi jak jako wymuszanie zdolności przewidywania reprezentacji próbki wejściowej na podstawie reprezentacji innych, podobnych do niej próbek.

• Słowa kluczowe: Machine learning | Representation learning | Uczenie głębokie | Uczenie maszynowe | Self-supervised learning | Deep learning | Uczenie się reprezentacji | Uczenie samonadzorowane |