NeurIPS z naszym udziałem!
6.12.2021, rozpoczyna się największa i najważniejsza na świecie konferencja naukowa dotycząca sztucznej inteligencji, sieci neuronowych i uczenia maszynowego – „NeurIPS”. Wśród licznych prelegentów swoje wystąpienia będą mieli Polacy. Nasze osiągnięcia dotyczące zwiększenia wydajności obliczeń sieci neuronowych, poprawy dokładności wyników osiąganych przez nie czy dalszego rozwoju algorytmów kwantowych, mogą stać się kolejnym krokiem milowym w rozwoju technologii informatycznych.
Rozpoczynająca się 6.12.2021 konferencja NeurIPS (Conference on Neural Information Processing Systems) to cykliczne spotkanie naukowców zajmujących się rozwojem metod sztucznej inteligencji, w szczególności sieci neuronowych. Podczas licznych wykładów oraz sesji plakatowych omawiane są najnowsze odkrycia i rozwiązania technologiczne, które wyznaczają kierunki dalszych prac badawczych i są odpowiedzią na najważniejsze wyzwania informatyczne przyszłości.
„Możliwość aktywnego uczestnictwa w konferencji NeurIPS jest więc nie tylko unikatową szansą zapoznania się z najnowocześniejszymi światowymi osiągnięciami naukowymi. Samo przyjęcie publikacji na tę konferencję stanowi wyraz docenienia międzynarodowego środowiska informatycznego dla prowadzonych przez nas prac badawczych” – tłumaczy prof. Tomasz Trzciński kierujący pracami zespołu ds. widzenia maszynowego CVLab w Instytucie Informatyki naszego Wydziału – „członkowie naszego zespołu po raz pierwszy zaprezentują tak wiele prac podczas tej prestiżowej konferencji. W tym roku przedstawimy trzy nasze prace opisujące m.in. nowe architektury sieci neuronowych zwiększające efektywność obliczeń poprzez ich recycling czy metody optymalizacji algorytmów kwantowych. Prace te powstały we współpracy z wiodącymi polskimi i zagranicznymi ośrodkami naukowymi, Uniwersytetem Jagiellońskim, Polską Akademią Nauk oraz Uniwersytetem w Cambridge”.
Bez strat czasu – jak szybciej osiągnąć wynik
(M. Wolczyk, B. Wójcik, K. Bałazy, I. Podolak, J. Tabor, M. Śmieja, T. Trzcinski. Zero Time Waste: Recycling Predictions in Early Exit Neural Networks, Neural Information Processing Systems (NeurIPS), 2021).
Rosnące zbiory danych i mnogość decyzji jakie na każdym etapie analizy muszą podejmować maszyny sprawia, że dostępne moce przerobowe wyczerpują się bardzo szybko. Okazuje się, że rozwiązaniem problemu konieczności budowy coraz większych centrów obliczeniowych, szybszych urządzeń i ogromnych ilości energii, może stać się skrócenie czasu przetwarzania informacji. Opracowana w Polsce koncepcja „Zero Time Waste”, polegająca na recyclingu obliczeń wewnętrznych warstw sieci neuronowych do wcześniejszych predykcji (early exit), pozwala nie tylko na wymierne oszczędności mocy, ale także nie wpływa znacząco na osiągany wynik. To zupełnie nowatorskie podejście, w którym modele neuronowe wykorzystują do kolejnych etapów diagnozy, wyniki odrzucone we wcześniejszych krokach. Takie połączenie wyników sprawia, że ostateczna decyzja podejmowana jest znacznie szybciej niż w dotychczas stosowanych rozwiązaniach.
Nowa metoda obliczeniowa – niegaussowskie metody gaussowskie
(M. Sendera, J. Tabor, A. Nowak, A. Bedychaj, M. Patacchiola, T. Trzcinski, P. Spurek, M. Zieba. Non-Gaussian Gaussian Processes for Few-Shot Regression, Neural Information Processing Systems (NeurIPS), 2021).
Wiele współczesnych metod uczenia maszynowego opiera się na procesach gaussowskich (określonej funkcji zależnej np. od czasu, której przybierane wartości są zmiennymi losowymi). Procesy te są wykorzystywane do modelowania rozkładów funkcji, przewidywania szeregów czasowych jak i uczenia na podstawie kilku przykładów (few-shot learning). Niestety, podstawowym ograniczeniem procesów gaussowskich są ich założenia dotyczące konkretnego rozkładu prawdopodobieństwa, podczas gdy w praktyce te założenia często nie przystają do rzeczywistości. Zaproponowane przez zespół z Uniwersytetu Jagiellońskiego, Politechniki Warszawskiej, Politechniki Wrocławskiej i Uniwersytetu w Cambridge podejście umożliwia dużo bardziej elastyczne podejście do modelowania, które wykorzystuje różne rozkłady prawdopodobieństw i metodę znormalizowanych przepływów. W rezultacie uzyskujemy dużo bardziej precyzyjne rezultaty i dokładniejsze modele.
Uczenie ze wzmocnieniem na pomoc komputerom kwantowym
(M. Ostaszewski, L. M. Trenkwalder, W. Masarczyk, E. Scerri, and V. Dunjko, "Reinforcement learning for optimization of variational quantum circuit architectures", Neural Information Processing Systems (NeurIPS), 2021).
Zespół składający się m.in. z członków zespołu widzenia maszynowego, dr. Mateusza Ostaszewskiego oraz Wojciecha Masarczyka, zajął się również zagadnieniem estymacji energii molekuł chemicznych. W tym celu stosowane są aktualnie rozwiązania z pogranicza informatyki kwantowej, natomiast ich ograniczenia nie pozwalają na uzyskanie wystarczająco precyzyjnych rezultatów. Na pomoc przychodzą rozwijane przez naszych naukowców metody uczenia ze wzmocnieniem, które w kontekście kwantowych obliczeń potrafią znacząco polepszyć uzyskiwane rezultaty.
„Dziś nasze rozwiązania z zakresu uczenia maszynowego staja na równi z innowacjami technologicznymi opracowywanymi w najlepszych ośrodkach naukowych na świecie. Cieszymy się, że już dziś wspólnie możemy pracować nad projektami odpowiadającymi wyzwaniom informatycznym jutra” – dodaje prof. Jarosław Arabas, dyrektor Instytutu Informatyki naszego Wydziału – „dzięki szerokiej współpracy nasze założenia zweryfikowaliśmy przy największych obliczeniach na świecie, takich jak chociażby CERN. Jesteśmy pewni skuteczności tych rozwiązań i głęboko wierzymy, że wkrótce znajdą swoje powszechne zastosowanie”.
