Szkoła doktorska Politechniki Warszawskiej

Rozwój algorytmów optymalizacyjnych, który obserwujemy w ostatnich latach, zmierza w kierunku specjalizacji. Proponowane rozwiązania wymagają przede wszystkim żmudnego ustawiania wielu parametrów, co w rzeczywistych scenariuszach optymalizacyjnych może być trudne, jeśli w ogóle możliwe. W tym kontekście istotne jest przesunięcia punktu ciężkości z wysoko wyspecjalizowanych podejść na bardziej uniwersalne metody niezależne od problemu, demonstrujące wysoką wydajność dla różnorodnych problemów optymalizacyjnych, w tym problemów rzeczywistych. W projekcie skupimy się na metodach nieparametrycznych w miejsce złożonych, wysoce sparametryzowanych procedur. Kluczową koncepcją jest zastosowanie metod nieparametrycznych do sterowania procesem optymalizacji i abstrahowanie od wiedzy apriorycznej o rozwiązywanym problemie. W realizację projektu zaangażowanych będzie 2 doktorantów. Obaj doktoranci będą mogli ubiegać się o stypendium (na okres do 36 miesięcy) w ramach projektu OPUS NCN.

• Słowa kluczowe: Metaheuristics | Metaheurystyki | Optymalizacja globalna | Hybrid methods | Metody hybrydowe | Optymalizacja nieparametryczna | Nonparametric optimization | Global optimization |

Metody samonadzorowanego uczenia się (ang. Self-Supervised Learning - SSL) posiadają potencjał do istotnej poprawy wydajności procesu uczenia głębokiego. Kontrastowe metody SSL stały się standardowym podejściem wstępnego pre-trenowania w szeregu dziedzin, takich jak przetwarzanie języka naturalnego (NLP) czy wizja komputerowa (CV). Wstępne wyniki sugerują, że niekontrastowe metody SSL są w stanie istotnie zbliżyć się do wydajności metod kontrastowych, eliminując jednocześnie potrzebę konstruowania explicite negatywnych próbek/przykładów uczących. Celem proponowanych badań jest między innymi: 1) zweryfikowanie w jakim stopniu metody kontrastowe i niekontrastowe mogą być stosowane w nowatorskich architekturach SSL, 2) sprawdzenie czy dopasowanie reprezentacji w SSL można osiągnąć metodami alternatywnymi, takimi jak jako wymuszanie zdolności przewidywania reprezentacji próbki wejściowej na podstawie reprezentacji innych, podobnych do niej próbek.

• Słowa kluczowe: Machine learning | Representation learning | Uczenie głębokie | Uczenie maszynowe | Self-supervised learning | Deep learning | Uczenie się reprezentacji | Uczenie samonadzorowane |

Dominującym obecnie podejściem do uczenia się reprezentacji jest wstępne trenowanie dużych modeli bazowych na ogromnych statycznych zbiorach danych, co kontrastuje ze stale zmieniającym się i poszerzającym się charakterem danych dostępnych w Internecie. Proponowane badania dotyczą nowego paradygmatu, w którym zbiór danych uczących jest konstruowany ad-hoc poprzez bieżące przeszukiwanie Internetu, umożliwiając efektywne dostosowanie modeli do wybranych zadań docelowych. Celem proponowanego projektu jest między innymi: 1) zaprojektowanie metod poszukiwania odpowiednich danych uczących w Internecie i wykorzystanie ich do ustawicznej adaptacji modelu, 2) przeprowadzenie badan dotyczących konstrukcji metod samonadzorowanych (ang. self-supervised), które dla zadanego problemu: a) samodzielnie definiują metodę jego rozwiązania, b) przeszukują Internet w celu znalezienie odpowiednich danych uczących oraz c) wykorzystują znalezione dane do iteracyjnej optymalizacji modelu.

• Słowa kluczowe: Large Language Models | Machine learning | Representation learning | Uczenie głębokie | Uczenie maszynowe | Deep learning | Uczenie się reprezentacji | Wielkie modele językowe | Adapacja online | Online adaptation |

Globalizacja zagrożeń w obszarze bezpieczeństwa publicznego (międzynarodowy terroryzm, przemyt, itd.) stała się jednym z kluczowych problemów 21. wieku. W efekcie nastąpił dynamiczny rozwój ugruntowanych naukowo metod ich zwalczania. Jednym z dynamicznie rozwijających się obszarów badań są Gry Obronne (ang. Security Games - SG), które polegają na modelowaniu sytuacji taktycznych związanych z przeciwdziałaniem zagrożeniom w postaci gier i poszukiwaniu optymalnych strategii postępowania obu stron (Atakującego i Obrońcy). W okresie ostatnich 10 lat, w ramach prowadzonego przeze mnie zespołu badawczego, we współpracy międzynarodowej zaproponowaliśmy kilka nowatorskich metod efektywnej aproksymacji rozwiązywania SG bazujących na wykorzystaniu metaheurystyk optymalizacyjnych oraz metod losowego próbkowania. Celem pracy jest adaptacja wybranych metod do wielokryterialnych gier obronnych, w których Atakujący oraz Obrońca mają więcej niż jedno kryterium optymalizacji swoich strategii.

• Słowa kluczowe: Artificial intelligence | Bezpieczeństwo | Games | Gry | Optimization | Optymalizacja | Sztuczna inteligencja | Metaheurystyki optymalizacyjne | Teoria gier | Monte Carlo Tree Search | Security games | Gry obronne | Game theory | Optimization metaheuristics | Security |

Abstrakcyjne rozumowanie wizualne (ang. Abstract Visual Reasoning - AVR) obejmuje problemy przypominające te pojawiające się w testach IQ. Przykładowo, Progresywne Matryce Ravena przedstawiają zestaw obrazów ułożonych w siatkę 3x3 z brakującym panelem w prawym-dolnym rogu. Zdający musi odkryć zależności rządzące znajdującymi się na obrazach kształtami 2D (i ich atrybutami), aby z zadanego zestawu opcji wybrać odpowiedź, która najlepiej uzupełnia macierz. Ogólnie rzecz biorąc, zadania AVR dotyczą podstawowych funkcji poznawczych, takich jak tworzenie analogii, abstrahowanie pojęciowe czy ekstrapolacja, co sprawia, że postępy osiągnięte w wyniku tych badań mają zastosowanie w różnych obszarach, istotnie wykraczających poza rozważane zadania. W ramach proponowanych badań planujemy zweryfikować możliwości wykorzystania wielkich modeli językowych (LLM) i wielkich modeli wizyjnych (LVM) do rozwiązywania zadań AVR, zarówno syntetycznych jak i wykorzystujących obrazy świata rzeczywistego.

• Słowa kluczowe: Computer vision | Large Language Models | Machine learning | Sztuczna inteligencja | Uczenie maszynowe | Wielkie modele językowe | LLM | Abstraction | Wielkie modele wizyjne | Abstrakcja | Abstract visual reasoning | AVR | Wizja komputerowa | Artifical intelligence | Abstrakcyjne rozumowanie wizualne | LVM | Large vision models | CV |