Malroboter: Erforschung der
Multimodalität der Künste mit Hilfe von Robotik
Was passiert in uns, wenn wir Musik hören – und sie in Farben, Formen oder Bewegungen ausdrücken? Können Maschinen Musik ähnlich deuten und interpretieren wie wir Menschen? Genau diesen Fragen widmet sich Dr.-Ing. Ornella Tortorici Pabst – zwischen Technik, Kunst und künstlicher Intelligenz, und sogar in kreativen Workshops mit Kindern.
Im Projekt „Malroboter“ verbindet sich Kunst auf besondere Weise mit Technik: Ein Roboter „hört“ Musik und übersetzt sie in Farben und Formen. Möglich wird dies durch die Kombination von Robotik, Sensorik und Programmierung mit musikwissenschaftlicher Analyse und kreativer Gestaltung.
Wie aber muss man sich so einen Roboter vorstellen? Der Roboterarm bewegt sich über eine Leinwand und trägt am Ende einen drehbaren Pinsel, dessen Ausrichtung, Druck und Farbaufnahme gezielt gesteuert werden. Sechs Farbkammern – Grundfarben plus Schwarz und Weiß – erlauben das Mischen einer breiten Palette. Musik wird dabei in visuelle Komposition übersetzt: Tempo, Lautstärke, Klangfarbe, Genre und Stimmung steuern Geschwindigkeit, Farbauswahl, Druck und Bewegungsform des Pinsels.
Auch die menschliche Perspektive fließt ein: Zeichnungen von Kindern, die diese beim Hören derselben Musik anfertigen, dienen als Trainingsdaten für einen Lernalgorithmus, der das Verhalten des Roboters mitgestaltet. So entstehen vielfältige Bildkompositionen – mal wild und dynamisch, mal zart und reduziert.
In interaktiven Workshops experimentieren Kinder gemeinsam mit dem Roboter, malen „um die Wette“ und reflektieren ihre Ergebnisse. So eröffnet der direkte Vergleich zwischen menschlicher und maschineller Umsetzung neue Einblicke in die Verbindung von Musik, Emotion und visueller Gestaltung.
Projektgeschichte
Die ersten Prototypen des „Malroboters“ entstanden im März 2023 im praxisorientierten Masterseminar ADMM (Applied Design Methodology for Mechatronics) an der Technischen Universität Hamburg (TUHH). Wie jedes Jahr setzten sich die Studierenden mit einem anwendungsbezogenen Thema auseinander, um Designprinzipien praxisnah zu erlernen.
Im Sommersemester 2023 entwickelten vier Studierendenteams jeweils einen Roboter, der Musik in Malerei übersetzt. Der große kreative und technische Erfolg dieses ersten Durchlaufs legte den Grundstein für die Weiterentwicklung: Dank der Anbindung an das Haptic Lab und ligeti zentrum wird das Projekt seither in verschiedenen studentischen Abschlussarbeiten fortgeführt und kontinuierlich um neue Fragestellungen und Perspektiven erweitert. Von Juli bis Oktober 2025 erhielt das Projekt zudem Unterstützung durch den Artist and Scientist in Residence, Ivan Iovine, der die Interpretationsfähigkeit des Roboters durch Bewegungen ergänzte.
Interdisziplinäre Zusammenarbeit
Im Haptic Lab angesiedelt, verbindet das Projekt „Malroboter“ diverse Bereiche im ligeti zentrums. Die musikalische Analyse und Interpretation wird gemeinsam mit dem ArtSearch Lab, dem XR Lab, dem Production Lab und dem InnoLab weiterentwickelt. Parallel dazu finden Workshops zur Musikinterpretation in Zusammenarbeit mit Schulen statt – unterstützt durch die pädagogische Expertise von Kolleg:innen der Hochschule für Musik und Theater Hamburg (HfMT). Öffentliche Workshops und Aufführungen machen das Projekt darüber hinaus auch für ein breites Publikum erlebbar und laden zum direkten Austausch mit der Technik und der künstlerischen Umsetzung ein.
Öffentliche Veranstaltungen
Sie möchten den Malroboter live erleben? Dann kommen Sie zu einem der Workshops, in denen Sie selbst kreativ werden und die Verbindung von Musik, Technologie und Kunst erleben können. Neue Termine erscheinen im Veranstaltungskalender.
Dokumentation
Bislang ist der entwickelte Roboterarm in der Lage, sich auf einer Ebene über eine Leinwand zu bewegen. Am Endeffektor ist ein Pinsel angebracht, der drehbar ist und angehoben werden kann, um den Druck des Pinsels auf der Leinwand zu steuern. In sechs Farbfächern befinden sich die Grundfarben Rot, Blau und Gelb sowie Schwarz und Weiß, die miteinander gemischt werden können, um individuelle Farben zu kreieren.
Der Malroboter kommt in vielseitigen Workshops mit Schüler:innen und der Öffentlichkeit zum Einsatz, um gemeinsam Musik in Bilder zu übersetzen.
Weiterentwicklung im Rahmen der Residency von Ivan Iovine
Von Juli bis Oktober 2025 entwickelte der Interaktionsdesigner Ivan Iovane, der als Sommerresident zu Gast im ligeti zentrum war, den Malroboter weiter,damit dieser auch Gesten und Bewegungen interpretieren und in Bilder übersetzen kann. Aufbauend auf den bisherigen Fähigkeiten zur Musik- und Klangerkennung wurde ein neues Modul entwickelt, das es ermöglicht, Körperhaltungen und Gesten in Echtzeit zu erfassen und als direkte Interaktionsform mit dem Roboter zu nutzen. Dadurch wird der Roboter nicht nur reaktiv, sondern kann in Performances eingesetzt werden, bei denen der menschliche Körper das zentrale Medium der Mensch-Roboter-Interaktion bildet. Weitere Informationen zu den Residency-Ergebnissen von Ivan Iovine lesen Sie hier.
Ausgewählte Veranstaltungen
ADMM 2023 Abschlussveranstaltung
Erste Prototypen des Malroboters wurden von Studierendenteams im praxisorientierten Kurs Applied Design Methodology for Mechatronics (ADMM) im Jahr 2023 entworfen. Vier Gruppen entwickelten je einen Roboter, der Musik interpretieren und in ein Kunstwerk übersetzen konnte. Bei einer öffentlichen Veranstaltung im Production Lab des ligeti zentrums traten die Roboter im Juli 2023 gegeneinander an. Für die musikalische Vorlage sorgte das SPIIC+-Ensemble um Vlatko Kučan, das in Echtzeit mit den Malrobotern interagierte.
Der Malroboter in der Zentralbibliothek
Eine verbesserte, noch in der Entwicklung befindliche Version des Malroboters wurde im Februar 2024 bei einem Workshop mit Kindern in der Hamburger Zentralbibliothek vorgestellt. Der Malwettbewerb mit dem Motto „Von Musik zu Farbe – Fordere unseren Roboter heraus!“ lud Kinder ein, sich von der gespielten Musik inspirieren zu lassen und ihrer Kreativität freien Lauf zu lassen – während der Malroboter direkt neben ihnen malte. Die Veranstaltung stieß auf große Begeisterung: Mit 15 teilnehmenden Kindern war der Workshop fast ausgebucht.
Team
Ornella Tortorici
Ornella Tortorici wurde 1992 in Paris geboren. Sie schloss 2015 ihr Ingenieurstudium der Mechatronik an Supmeca, Toulon, Frankreich, ab und promovierte 2021 in Robotik am COSMER, Universität Toulon. Derzeit ist sie Post-Doc an der Technischen Universität Hamburg-Harburg, Deutschland. Zu ihren Forschungsinteressen gehören Mechatronik, Robotik und Haptik.
Mehr über Ornella Tortorici hier.
Michel Blümel
Michel Blümel studierte von 2015 bis 2023 Musik und Geographie auf Lehramt an der HfMT Hamburg und der Universität Hamburg. Am ligeti zentrum ist er Teil der Agentur für Vermittlung und gesellschaftliche Teilhabe und beschäftigt sich dort insbesondere mit dem Zugang zu kulturellen Angeboten für Familien und Kindern.
Zudem fungiert er als Schnittstelle zum Institut für Schulmusik an der HfMT Hamburg. Seine musikalische Heimat hat Michel auf der Tuba gefunden, die sein Hauptinstrument im Studium war. Michel Blümel studierte von 2015 bis 2023 Musik und Geographie auf Lehramt an der HfMT Hamburg und der Universität Hamburg. Am ligeti zentrum ist er Teil der Agentur für Vermittlung und gesellschaftliche Teilhabe und beschäftigt sich dort insbesondere mit dem Zugang zu kulturellen Angeboten für Familien und Kindern.
Zudem fungiert er als Schnittstelle zum Institut für Schulmusik an der HfMT Hamburg. Seine musikalische Heimat hat Michel auf der Tuba gefunden, die sein Hauptinstrument im Studium war.
Für Medienschaffende:
Es besteht redaktionelles Interesse an dem Projekt „Malroboter“ des ligeti zentrums? Schreiben Sie uns eine E-Mail an kommunikation@ligeti-zentrum.de und wir setzen Sie mit den entsprechenden Ansprechpartner:innen in Verbindung.