PEPS I3A: Processus d'Apprentissage en Composition assistée par Ordinateur (PACO)

Projet Exploratoire Premier Soutien (PEPS) 2018: Intelligence Artificielle et Apprentissage Automatique

Dès l'apparition des premiers ordinateurs, la création musicale contemporaine s'est emparée des moyens de calcul et de représentation offerts par l'informatique pour étendre son champ de possibilités compositionnelles et sonores, et ainsi enrichir tout à la fois le pouvoir d'expression des musiciens et l'expérience musicale de ses auditeurs. Les débuts de ce que l'on appellera plus tard l'informatique musicale (computer music) se sont inspirées de l'intelligence artificielle, dans l'idée de produire des machines capables de composer, rivalisant de créativité avec leurs créateurs. Si l'on retrouve cette idée dans des projets récents, ambitieux et médiatisés, la notion d'apprentissage a cependant été rarement exploitée par les compositeurs dans une perspective d'aide à la création. Dans le domaine de la composition assistée par ordinateur, la défiance vis-à-vis d'une certaine dépossession de l'acte créateur a conduit chercheurs et compositeurs à se tourner plutôt vers des démarches constructivistes et vers d'autres aspects des technologies de l'information, comme celui du end-user programming (soit le fait de donner à l'utilisateur final d'un système la capacité d'en être lui-même le programmeur) et des langages de programmation visuels.

L'objectif de ce projet exploratoire est d'étudier les applications possibles des techniques d'apprentissage automatique en composition musicale assistée par ordinateur. En contraste avec une approche plus répandue consistant à viser la production de systèmes créatifs plus ou moins autonomes, nous nous intéressons ici à l'apport potentiel de l'IA et de l'apprentissage comme assistant à la composition (et/ou à l'analyse musicale) dans la réalisation de tâches telles que la classification et le traitement de « gestes musicaux » (descripteurs temporels, mélodies, entrées graphiques), l'aide à la décision ou la recherche dans les espaces de solutions d'algorithmes de recherche opérationnelle, ou la production de structures et paramètres musicaux à partir de bases de données d'exemples. Les applications envisagées pourront être liées à diverses étapes et activités compositionnelles : analyse et quantification rythmique, composition par recomposition/concaténation de motifs, etc. pour lesquelles l'apprentissage automatique proposera de nouvelles modalités de contrôle, de synthèse et de compréhension des structures musicales.

Laboratoire STMS: IRCAM/CNRS/Sorbonne Université
Coordination/responsable scientifique: Jean Bresson
Participants: Diemo Schwarz (équipe Interaction Son-Musique-Mouvement), Nicolas Obin (équipe Analyse et Synthèse des Sons), Jérôme Nika (équipe Représentations Musicales), Paul Best (stage M2, équipes RepMus / ISMM), Alireza Farhang (résidence recjerche musicale IRCAM), Anders Vinjar (compositeur, Oslo), Marlon Schumacher (Institut für Musikwissenschaft und Musikinformatik, Hochschule für Musik Karlsruhe).

paco_rapport_2018.pdf

• Demo SMC 2019 – Sound and Music Computing conference
29-31 mai 2019, Malaga, Espagne.
A. Vinjar, J. Bresson: OM-AI: A Toolkit to Support AI-Based Computer-Assisted Composition Workflows in OpenMusic

• CBMI 2018 – International Conference on Content-Based Multimedia Indexing
4-6 septembre 2018, La Rochelle, France.
P. Best, J. Bresson, D. Schwarz: Musical Gesture Recognition Using Machine Learning and Audio Descriptors.

• Workshop @SMC'18: Music Composition and Creative Interaction with Machine Learning
15th Sound and Music Computing conference, 4-7 juillet 2018, Limassol, Chypre.

• MUME 2018 – 6th International Workshop on Musical Metacreation
International Conference on Computational Creativity – ICCC'18, 25-26 juin 2018, Salamanca, Espagne.
J. Bresson, P. Best, D. Schwarz, A. Farhang: From Motion to Musical Gesture: Experiments with Machine Learning in Computer-Aided Composition.

• Traces de l'expressivité : partition de flux de données gestuelles pour les œuvres interdisciplinaires
Alireza Farhang: Résidence en recherche musicale IRCAM

• Applications de l'apprentissage automatique en composition assistée par ordinateur
Paul Best (ECE Paris): Stage M2 sous la direction de Jean Bresson et Diemo Schwarz
Avec le soutien du dispositif "Unités Projet Innovation" de l'IRCAM.

• Improvisation guidée et composition assistée par ordinateur
Victoire Siguret (ENS Lyon): Stage L3 sous la direction de Jean Bresson et Jérôme Nika

• OM-XMM: connexion entre l'environnement de CAO OpenMusic et la bibliothèque XMM pour l'apprentissage et la reconnaissance de gestes.
⇒ Voir sur GitHub

• OM-DYCI2: connexion entre l'environnement de CAO OpenMusic et la bibliothèque DYCI2 pour l'improvisation guidée par scenario.
⇒ Voir sur GitHub

• OM-AI: Applications musicales de techniques d'apprentissages dans Common Lisp/OM.
⇒ Voir sur GitHub