Forschung

Forschung und Publikationen

Meine Forschung dreht sich darum, Graph Neural Networks tiefer zu machen und Robotern besseres Wahrnehmen und Handeln beizubringen. Beides begann an der TU Darmstadt.

Publikation

NeurIPS 2024

NeurIPS 2024, Main Conference Track

Graph Neural Networks Need Cluster-Normalize-Activate Modules (öffnet in neuem Tab)

Arseny Skryagin, Felix Divo, Mohammad Amin Ali, Devendra Singh Dhami, Kristian Kersting

Das Paper stellt ein Modul vor, das Knotenmerkmale clustert, jedes Cluster normalisiert und pro Cluster eine lernbare Aktivierung anwendet. Es verringert Oversmoothing und ermöglicht tiefere Graph Neural Networks.

Ich bin dritter von fünf Autoren. Die zentrale Idee, die Methode, die Experimente und die Ergebnisse sind in meiner Masterarbeit entstanden.

Das Paper berichtet eine Genauigkeit von 94,18 Prozent auf Cora und 95,75 Prozent auf CiteSeer sowie geringere Fehler bei Regressionsaufgaben mit weniger lernbaren Parametern als vergleichbare Architekturen.

Paper zitieren
@inproceedings{skryagin2024cna,
  title     = {Graph Neural Networks Need Cluster-Normalize-Activate Modules},
  author    = {Skryagin, Arseny and Divo, Felix and Ali, Mohammad Amin and Dhami, Devendra Singh and Kersting, Kristian},
  booktitle = {Advances in Neural Information Processing Systems},
  volume    = {37},
  year      = {2024},
  doi       = {10.52202/079017-2535}
}

Masterarbeit

Selective Activations for Addressing Oversmoothing in Deep Graph Neural Networks

Fachgebiet KI und Maschinelles Lernen, TU Darmstadt. Betreut von Prof. Dr. Kristian Kersting. Eingereicht im Februar 2024, Note 1,0.

Das Problem
Je tiefer ein Graph Neural Network wird, desto ähnlicher werden die Merkmale seiner Knoten. Dieses Oversmoothing begrenzt, wie tief solche Netze sinnvoll werden können.
Was ich gemacht habe
Ich habe festgestellt, dass lernbare rationale Aktivierungen allein nicht ausreichen. Meine Methode clustert die Knoteneinbettungen, normalisiert jedes Cluster und wendet dann pro Cluster eine lernbare rationale Aktivierung an.
Eine neue Metrik
Die übliche MAD-Metrik erfasst die Streuung von Clustern nicht gut. Ich habe dafür MADC vorgeschlagen.
Experimente
Umgesetzt in PyTorch und getestet auf Cora, CiteSeer, PubMed, DBLP und ogbn-arxiv.

Die Arbeit erhielt 2025 den Preis für hervorragende wissenschaftliche Leistungen der Vereinigung von Freunden der TU Darmstadt. Seite der Preisträger (öffnet in neuem Tab)

Robotik

Machine Learning für Roboter

01/2020 bis 03/2023

Wissenschaftliche Hilfskraft, Machine Learning und Deep Learning für Robotik

Fachgebiet Intelligente Autonome Systeme (IAS), TU Darmstadt

  • Entwicklung von Deep-Learning-Modellen für mobile Roboter, vor allem für visuelle Wahrnehmung und Hindernisvermeidung mit Encoder-Decoder-Architekturen.
  • Modellbasiertes Reinforcement Learning für adaptives Roboterverhalten und Training von Modellen für Objekterkennung und Szenenverständnis.
  • Entwicklung von Robotersoftware in ROS sowie Training und Tests in Gazebo und Isaac Gym, darunter Grifferkennung und Bewegungsplanung mit OMPL.
  • Vorbereitung und Betreuung von Übungen zu Robot Learning für Studierende in Robotik, optimaler Steuerung, Machine Learning und Reinforcement Learning.

Bachelorarbeit

An Educational Framework for Robot Learning

Fachgebiet Intelligente Autonome Systeme, TU Darmstadt. Betreut von Prof. Dr. Jan Peters. Eingereicht im September 2021, Note 1,0.

Ich habe einen Robotersimulator in Python mit Übungen für Studierende entworfen und gebaut, mit Pymunk, Pyglet und Sphinx. Die Übungen behandeln Denavit-Hartenberg, Vorwärts- und Rückwärtskinematik, Splines, PID-Regelung, Markov-Entscheidungsprozesse mit Policy und Value Iteration, ProMPs, REPS und Ballfangen.