Kunstig intelligens gør os i stand til at høre instrumenter ud fra musikeres kropsprog
musik kropssprog gestik computer kunstig intelligens

Det er muligt for den kunstige intelligens at adskille lydene under musikalske optrædener ved at fokusere på kropssproget. (Foto: MIT)

Det er muligt for den kunstige intelligens at adskille lydene under musikalske optrædener ved at fokusere på kropssproget. (Foto: MIT)

29 juni 2020

Nu er det formodentlig lang tid siden, du har været til koncert - coronakrisen har gjort det svært at se musikere optræde live. 

Men du kender sikkert til oplevelsen af, at musikken får en helt ny dimension, når man ser den blive fremført. 

Måske bliver det nemmere at adskille de enkelte trommeslag ved at se trommeslageren hamre på sit instrument eller iagttage guitaristen lade sine fingre glide henover strengene. 

Det skyldes, at vi mennesker lettere diffentierer musikken ved at afkode kropsprog, skriver Massachusetts Institute of Technology (MIT) i en pressemeddelelse: 

Når vores ører ikke kan adskille lydene fra to instrumenter fra hinanden, hjælper vores øjne vores opfattelse ved at iagttage musikernes bevægelser. 

Forskere fra MIT har nu lært kunstig intelligens at gøre det samme. De har udstyret den med en form for sanser, så den på samme måde som mennesker lytter ved også at se. 

Konkret har forskerne lavet et computerprogram, der kan sammenkoble punkter på musikernes krop med den rytme, de spiller. Dermed kan den kunstige intelligens adskille lydene fra den enkelte musikant fra hele orkestret, skriver MIT. 
 
Du kan høre det i videoen herunder. 
 
Forskerne har kopieret den måde, som mennesker lærer på - med alle sanserne. 
 
»Fler-sanselig processering er forløberen til den kropslige intelligens og kunstig intelligens-systemer, der kan udføre mere komplicerede opgaver,« siger Antonio Torralba, professor og medforfatter på studiet, i pressemeddelelsen. 
Den nye, kunstige intelligens vil kunne bruges til at adskille enkelte musikere i lydstudier, når man skal mixe lyd, eller måske som en støtte under online-møder, hvor kollegaer kan have en tendens til at tale i munden på hinanden, skriver MIT i pressemeddelelsen.

Her kan du se, hvordan det er muligt for den kunstige intelligens at adskille lydene fra to musikere. (Video: Chuang Gan)

 
Studiets resulatater bliver præsenteret på den virtuelle Computer Vision Pattern Recognition-konference denne måned.

tkt

Ovenstående er udvalgt og resumeret af Videnskab.dk, men redaktionen har ikke udført selvstændig research. Gå til den oprindelige kilde for flere detaljer.