Juli – Oktober 2025: Ivan Iovine
Unter dem Titel „Where Haptics meet the Arts“ rückt die diesjährige Sommer-Residency am ligeti zentrum die Schnittstelle zwischen Kunst und Technologie in den Fokus. Im Rahmen der Ausschreibung wurden vier Technologien vorgestellt, die im Haptic Lab entwickelt werden und Anwendung finden. Unter zahlreichen beeindruckenden Bewerbungen setzte sich Ivan Iovine durch. Der Interaktionsdesigner, Forscher und Medienkünstler erweitert die Steuerung des im Haptic Lab entwickelten Malroboters über musikalische Parameter hinaus durch menschliche Gesten.
Über das Projekt
Ivan Iovine überzeugte mit einem Konzept zur Entwicklung einer interaktiven Installation, in der der malende Roboter des Haptic Labs nicht mehr ausschließlich musikalisch gesteuert wird, sondern auch auf körperliche Gesten reagiert. Im Zentrum seines Projekts steht die Entwicklung eines gestenbasierten robotischen Systems, das mittels Open-Source-Methoden des maschinellen Lernens in Echtzeit auf menschliche Bewegungen, Mimik und Gesten reagiert. Der menschliche Körper soll dabei selbst zum Interface werden: als taktile Steuerzentrale für Parameter wie Bewegungsrichtung, Rhythmus, Intensität oder Farbwahl des Malroboters.
Ziel ist es, eine sinnlich erfahrbare, direkte Interaktion zwischen Mensch und Maschine jenseits klassischer Eingabemedien zu ermöglichen. Ähnlich der musikalischen Steuerung soll der Roboter nicht auf vorab definierte Anweisungen reagieren, sondern auf lebendige, situative Impulse. In enger Zusammenarbeit mit dem Haptic Lab sowie mit anderen Arbeitsbereichen des ligeti zentrums soll eine experimentelle Schnittstelle entstehen, die sowohl für Performances als auch für interaktive Ausstellungen und künstlerisch-wissenschaftliche Untersuchungen nutzbar ist. So plant Ivan Iovine im Rahmen der Residency eine Symbiose aus technischer Präzision und körperlicher Ausdruckskraft an, um neue Formen verkörperter Interaktion und Kreativität in der Robotik zu erforschen.
Umsetzung: Robotik trifft
Bewegung und Tanz
Während der ersten zwei Monate der Residenz wurde intensiv an der Erweiterung des Malroboters gearbeitet. Aufbauend auf den bisherigen Fähigkeiten zur Musik- und Klangerkennung wurde ein neues Modul entwickelt, das es ermöglicht, Körperhaltungen und Gesten in Echtzeit zu erfassen und als direkte Interaktionsform mit dem Roboter zu nutzen. Dadurch wird der Roboter nicht nur reaktiv, sondern kann in Performances eingesetzt werden, bei denen der menschliche Körper das zentrale Medium der Mensch-Roboter-Interaktion bildet.
Als Kerntechnologie für das körperbasierte Tracking wurde die Open-Source-Toolbox Mediapipe eingesetzt. Die Pipeline wurde so erweitert, dass neben den vortrainierten Modellen auch eigene trainierte Modelle verwendet werden können. Mit den in Mediapipe integrierten Methoden wie PoseNet, HandPose und FaceMesh lassen sich verschiedene Modelle trainieren und verfeinern, sodass vielfältige Formen der Interaktion über Gesten, Körperhaltungen und Gesichtsausdrücke möglich sind.
Diese Entwicklungen ermöglichen es, den Mal-Roboter künftig auch in neuen Ausdrucksformen einzusetzen, bei denen Gestik, Körperhaltung und Mimik eine zentrale Rolle spielen.
Am 11. Oktober 2025 stellt Ivan Iovine die Ergebnisse seiner Residenz im Rahmen der SuedKultur Music-Night im ligeti zentrum vor.
Über Ivan Iovine
Ivan Iovine ist ein in Frankfurt am Main lebender Interaktionsdesigner, Forscher und Medienkünstler. Seine künstlerische Praxis bewegt sich an der Schnittstelle von Robotik, Künstlicher Intelligenz, Bionik und „more–than-human“ Praktiken. Mithilfe neuer Technologien schafft er spekulative Szenarien, die virtuelle und physische Realitäten miteinander verweben und auf die Herausforderungen unseres Verhältnisses zu Technik und Natur aufmerksam machen. Seine Arbeiten wurden auf internationalen Festivals und in Museen wie dem Centro Nacional de las Artes Mexiko Stadt, dem Dortmunder U, der Fundación Ludwig de Cuba, dem Run Run Shaw Creative Media Centre (Hongkong) und dem CICA Museum (Südkorea) gezeigt. Neben seiner künstlerischen Tätigkeit leitet er das Robotics Lab an der Hochschule für Gestaltung Offenbach, wo er zu Robotik, Machine Learning und Computer Vision unterrichtet.
