Cyberinstruments
Die Impulse Pattern Formulation (IPF) ist eine vielseitige Methode zur nichtlinearen Modellierung, die eine einfache rekursive Gleichung verwendet, um dynamische und komplexe Muster in musikalischen Systemen zu beschreiben und zu verstehen. Dr. Simon Linke nutzt sie zur Analyse von Musik, Musikinstrumenten und musikalischem Verhalten – aber auch, um komplett neue, komplexe Klänge zu erzeugen.
Im Projekt „Cyberinstruments“ beschäftigt sich der Musikwissenschaftler Dr. Simon Linke mit der Suche nach neuen, meist digitalen Wegen der musikalischen Klangerzeugung. Hierzu wird das dynamische Verhalten realer „akustischer Systeme“ untersucht, um deren grundlegenden physikalischen Prinzipien in neue Algorithmen und Klang-Installationen zu überführen.
Die neu entdeckten Instrumentenklänge und musikalischen Effekte dienen als neue Impulse in der Musik und können gleichermaßen weiterverwendet werden – etwa für Sonifikationen oder zur Analyse von Musik, Musikinstrumenten und musikalischem Verhalten wie der Interaktion zwischen Musiker:innen. Der künstlichen Intelligenz (KI), allen voran Selbstorganisierende Karten beziehungsweise Kohonen-Karten, kommt dabei eine besondere Rolle zu.
Impulse Pattern Formulation
Das Projekt „Cyberinstruments“ fußt auf der sogenannten Impulse Pattern Formulation (IPF). Die vielseitige Methode zur nichtlinearen Modellierung verwendet eine einfache Gleichung, um dynamische und komplexe Muster in musikalischen Systemen zu beschreiben und zu verstehen.
Ursprünglich durch Musikinstrumente inspiriert, ermöglicht die IPF sowohl die Nachbildung bestehender Instrumente als auch die Erzeugung völlig neuer, komplexer Klänge. Durch ihren physikalischen Ursprung und die begrenzte Anzahl an Steuerparametern ist sie für Musiker:innen besonders intuitiv bedienbar.
Über die Klangsynthese hinaus lässt sich die IPF auch in Bezug auf verschiedenste natürliche Systeme anwenden – etwa auf die menschliche Synchronisation mit Rhythmus oder Tonhöhe sowie auf das gemeinsame Musizieren in Ensembles.
Kooperationen und interdisziplinäre
Zusammenarbeit
Durch die Projektverortung im InnoLab entstehen täglich vielseitige innovative Anknüpfungspunkte zu verschiedenen Bereichen des ligeti zentrums, in denen Musik und Klang erzeugt und analysiert werden. Neben künstlerischen Kooperationen – etwa durch musikalische Installationen oder neue Konzertformate mit neuen Klängen und Instrumenten – sollen Kooperationen mit der Industrie entstehen, um neue Synthesizer zu entwickeln.
Während die im Projekt erforschten und angewandten Algorithmen zunächst musikalischen Zwecken dienen, könnten diese in Zukunft auch in vielfältige andere Bereiche übertragen werden. Mögliche Anknüpfungspunkte umfassen die Musiktherapie gleichermaßen wie soziopolitische Fragestellungen, etwa aus der Stadtplanung.
Dokumentation
IPF-Algorithmen zum Testen
- Soundsynthese: Grundlegende Skripte zur Anwendung der IPF und erste BSP
- Pure-Data-Skripte: IPF für modelbasierte Sonifikation
- „At The Edge of Chaos“: Die Fusion aus KI (Rave) und nichtlinearer Dynamic (IPF) zur Synthese von neuartigen Klängen und Rhythmen – Residency-Ergebnisse von Moisés Horta Valenzuela
Foto: Carsten Rabe / Residency, Moisés Horta Valenzuela
blurred edges 2024
Im Rahmen des blurred edges Festivals 2024 in Hamburg experimentierte Simon Linke mit verschiedenen Formen von Pure-Data-, C#- oder Mathematica-Programmierung, dem zweckentfremdeten Einsatz eines Hackbretts, Aktuatoren auf einer Trommel sowie einer MIDI-Gitarre. Mithilfe von IPF konnten Instrumente, Gehirnströme sowie Tierlaute nachgeahmt und verfremdet werden. Die dabei entstandene Aufnahme aus dem H7 Club ist hier verfügbar.
SOMson
Kohonen-Karten, auch Self-Organizing Maps (SOMs) genannt, sind eine Methode der künstlichen Intelligenz, mit der man komplexe, vielschichtige Daten übersichtlich auf einer Karte darstellen kann. So lassen sich Zusammenhänge und Muster in großen Datenmengen leichter erkennen. Allerdings geht dabei oft ein Teil der Informationen verloren, weil sich nicht alles gleichzeitig gut sichtbar darstellen lässt. Mit ihrer Sonifikation „SOMson“ stellten Dr. Simon Linke und Dr. phil. Tim Ziemer (Universität Hamburg) ein neues, interaktives System dar, das die Hochdimensionalität von KI-Algorithmen hörbar macht. Im Rahmen der Design Research Week 2025 an der Northeastern University erhielten sie dafür den Data Sonification Award.
Dance Booth
Wenn Musiker:innen zusammenspielen, finden sie trotz ständiger leichter Temposchwankungen häufig auch ohne Dirigent:in einen gemeinsamen Takt. Tänzer:innen hingegen reagieren üblicherweise auf die Musik, ohne selbst Einfluss auf deren Tempo zu haben. Die Dance Booth rückt Bewegungen in den Vordergrund – und passt die Musik entsprechend an. Der Boden registriert die Schritte, misst deren zeitlichen Abstand und erlaubt es Nutzer:innen, durch das modellierte Verhalten von Musiker:innen mit der IPF in einen Dialog zu treten. Mit den Händen bedienbare Knöpfe steigern den Spiel- und Spaßfaktor. Im Rahmen des Festivals Tanzfusionen 2024 in Greifswald konnte die interaktive Dance Booth getestet werden.
Publikationen
Linke, S., Wendt, G., & Bader, R. (2024). Clustering of Indonesian and Western Gamelan Orchestras through Machine Learning of Performance Parameters. arXiv preprint arXiv:2409.03713.
Bader, R., Linke, S., & Gernert, S. (2024). Nonlinear dynamical social and political prediction algorithm for city planning and public participation using the impulse pattern formulation. Chaos: An Interdisciplinary Journal of Nonlinear Science, 34(9).
Linke, S., & Ziemer, T. (2024). SOMson--Sonification of Multidimensional Data in Kohonen Maps. arXiv preprint arXiv:2404.00016.
Linke, S. & Ziemer, T. (2024). SOMson - Sonification of Multidimensional Data in Kohonen Maps. In Proceedings of the 29th International Conference on Auditory Display (ICAD2024) (pp. 50–57). ICAD 2024: The 29th International Conference on Auditory Display. International Community for Auditory Display. https://doi.org/10.21785/icad2024.008
Linke, S., Bader, R., & Mores, R. (2023). Model-based sonification based on the impulse pattern formulation. Journal on Multimodal User Interfaces, 17(4), 243–251.
Kurzweg, M., Linke, S., Weiss, Y., Letter, M., Schmidt, A., & Wolf, K. (2023, August). Assignment of a Vibration to a Graphical Object Induced by Resonant Frequency. In IFIP Conference on Human-Computer Interaction (pp. 523–545). Cham: Springer Nature Switzerland.
Linke, S., Bader, R., & Mores, R. (2023). Modeling-applications of the Impulse Pattern Formulation (IPF) on musical instruments and beyond. In Fortschritte der Akustik (Vol. 49, pp. 995–998). Deutsche Gesellschaft für Akustik eV (DEGA).
Team
Dr. Simon Linke
Simon Linke ist Musikwissenschaftler und arbeitet im breitgefächerten Bereich zwischen Physik, Mathematik und musikalischer Performance. Neben der musikalischen Akustik beschäftigt er sich mit nichtlinearer Dynamik und Synchronisation von Musikern und Musikinstrumenten sowie der Sonifikation und KI. Am ligeti zentrum erforscht er vor allem neue Ansätze zur Klangsynthese und die Interaktion zwischen Musikern. Diese geschieht nicht nur durch mathematische Analysen, sondern auch durch musikalische Aufführungen und Installationen.
Für Medienschaffende:
Es besteht redaktionelles Interesse an dem Projekt Cyberinstruments des ligeti zentrums? Schreiben Sie uns eine E-Mail an kommunikation@ligeti-zentrum.de und wir setzen Sie mit den entsprechenden Ansprechpartner:innen in Verbindung.