Una gran cantidad de músicos en la actualidad utilizan la plataforma de videos YouTube para descubrir cómo los músicos ejecutan sus instrumentos en sus canciones preferidas. Sin embargo, en caso de ser una orquesta o que sean varios músicos los que estén ejecutando al mismo tiempo, no existe manera de aislar el sonido de un único instrumento para apreciar mejor la ejecución.
Un grupo de investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL, por sus siglas en inglés) del Instituto Tecnológico de Massachusetts (MIT, por sus siglas en inglés), ha desarrollado una solución, a través de un sistema de aprendizaje automático capaz de aislar el sonido de un instrumento en un video de música en vivo a fin de editarlo para subir o bajar su volumen.
El sistema no requiere de ningún tipo de intervención humana para detectar qué tipo de instrumentos están siendo tocados o cuál es su sonido, ya que ha sido entrenado con más de 60 horas de videos para identificar instrumentos específicos a través del cambio en los píxeles alrededor de los instrumentos, y posteriormente extrae los sonidos asociados con dichos instrumentos.
Su nombre es ‘PixelPlayer’, y por ejemplo, es capaz de observar un video de una trompeta siendo interpretada en una canción, y separar las ondas de sonido asociadas con cada instrumento. Los investigadores esperan que este sistema pueda ayudar a los ingenieros de audio a mejorar la calidad de sus producciones, sobre todo cuando se editan conciertos en vivo.
Incluso, el sistema basado en Inteligencia Artificial (IA) podría ser desarrollado a un punto en el que pueda visualizar instrumentos específicos en un video de música en vivo y predecir cómo se escucharía en caso de que sean sustituidos por otros instrumentos, es decir, cambiar una guitarra eléctrica por el sonido de una acústica.
Según los expertos, PixelPlayer puede identificar los sonidos de más de 20 instrumentos musicales, y su autor principal, Hang Zhao, considera que el sistema podría identificar más instrumentos si es entrenado con más datos. Finalmente, el equipo de investigación afirmó que su IA podría ser utilizada en robots para comprender mejor los sonidos a su alrededor producidos por diversos entes, como animales o coches.