Guest
В последнее время трансформеры доминируют в задачах NLP и CV. Однако, они проигрывают многим простым GNN-архитектурам на популярных бенчмарках. Авторы адаптировали архитектуру трансформера для эффективной обработки молекулярных графов, что позволило им получить SoTA-результаты на недавнем OGB Large-Scale Challenge в graph-level задаче, а также на бенчмарк-датасетах PCBA, HIV и ZINC. На семинаре мы: - обсудим GNN и их связь с трансформерами - узнаем, как эффективно адаптировать трансформер для графов (positional encoding, атрибуты ребер и т.д.) - сравним результаты Graphormer-а с результатами похожих моделей Докладчик: Дмитрий Леонов.
