Origen de la idea:
La gente de Leo Burnet en conjunto con 2 productores amigos Agustina Panigazzi y Nacho Amato (de la productora Buena) nos vinieron a buscar hace un par de dias con un proyecto particular.
Con motivo del lanzamiento del nuevo celular de Samsung M7600 Beat DJ nos pidieron una pieza interactiva.
El celular tiene como feature principal la posibilida de experimentar la musica desde una vision de DJ, ya que montado sobre el reproductor de audio tiene un motor que permite desde la visualicacion hasta la experiencia acercarnos a la idea de tocar con una bandeja. Desde la seleccion del albun a un modo scratch donde uno tiene (dado que el celular es touchscreen) la posibilidad de hacer scratch sobre la pista. Incluso tiene la posibilidad de aplicar efectos como reverb, lowpass, highpass, marcar loops o ejecutar samples sobre la pista. Otro detalle interesante es que el hardware de audio del celular es propiedad de Bang and Olufsen.
http://uk.samsungmobile.com/mobile-phones/samsung-beat-dj
Tomando esas caracteristicas nos pidieron que repliquemos ese funcionamiento a gran escala (en un monitor touchscreen SAMSUNG 460TSn. de 46 pulgadas) y lo mas realista posible comparado con la experiencia de un DJ e incluso agregando la posibilidad de que la gente grabe su vos y pueda por ejemplo hacer scratch sobre ella.

Objetivos:
Primario:

Poder transladar la experiencia a una escala mayor, y amplificar la calidad de esta. Para que la experiencia sea una fantasia exponencial de lo que sucede con el celular en el aspecto DJ.

Secundarios:

Desarrollar el proyecto de forma modular para que sea posible el desarrollo de un entorno para DJ real.
Desarrollar las faces modularmente para que puedan incorporarse distintos tipos de interfaces al software profesional, no solo grafica sino tecnologicamente para hacer ports a distintos entornous touch y multitouch (lemur, iPhone, reaktable, surface, etc)

Tester:
vamos a invitar a DJ Rol3x a participar del proyecto como tester, para que el no solo chequee la utilidad, sino que incluso nos guien en el desarrollo hacia una buena herramienta

Pasos:
Hay varios pasos en este desarrollo
pero en este caso vamos a enfocarnos en el desarrollo de la aplicacion madre para el audio

Necesidad:
Necesito un entorno que me permita controlar archivos de audio en alta calidad en tiempo real, permitiendome resamplearlos a distintas velocidades y con diversos efectos.

Investigacion Previa:
Candidateamos 3 entornos posibles para este desarrollo:
Processing, dado que ya tenemos mucha experiencia e incluso trabajos previos con audio en tiempo real, processing fue la primera opcion que se nos ocurrio. Pero tiene una gran contra, que es el bajo rendimiento.

OpenFrameworks, fue la opcion pensada para suplir el problema que encontrabamos con processing. Pero nos encontramos con otro problema aqui, que es la falta de buenas librerias, estables y documentadas, para la manipulacion de audio en tiempo real.

Max/Msp, es un entorno en donde se testaca por sobre todo el rendimiento, es un lenguaje estrictamente usado para el desarrollo de aplicaciones de audio y nos garantizaba confiabilidad y vastos recursos para aplicar filtros etc.

asi es que la investigacion inicial dio como conclusion que el mejor entorno era Max/Msp

Observacion del terreno:
El siguiente paso, es determinar en el entorno seleccionado cual sera el enfoque para dimensionar la complejidad y formas de abordaje.
Por lo tanto habia que examinar que objetos, modulos, etc tiene el Max/Msp para poder emular lo mas real posible la actividad de una bandeja de DJ. Esto implica recorrer el manual, ejemplos, foros… por suerte hace un tiempo haciendo el soft para el simil Monome que habiamos fabricado ya habia trabajado con situaciones parecidas de manipulacion de audio y resampleo. Busque el source y recorde que usaba el objeto:
groove~
que parece ser el objeto perfecto y resumido para lo que estamos buscando. E incluso nos soluciona aparentemente el seteo de loops. Incluso tiene una devolucion con valores normalizados (0 a 1) del progreso del sonido en su ejecucion lo cual es escencial para el display grafico.
Otro de los elementos a chequear, era la complejidad del trabajo con OSC, dado que esta aplicacion seria un modulo controlable desde distintas posibles GUI necesitamos elaborar un protocolo dentro de OSC para una comunicacion fluida.
Para esta situaciones encontramos el objeto:
udpreceive y udpsend
que resuelven el trabajo aparentemente de forma sencilla
El ultimo punto importante para evaluar en el terrano, es determinar la forma de abordaje de los efectos tanto para convulaciones como para filtros por dft
En ese sentido encontre, dedicandole un poco de tiempo a buscar en la web, una serie de patchs ya armados para distintos efectos como reverb, de todas formas creo que el camino mas rapido va a ser el de usar Reaktor como VST para el Max/Msp y de esta forma aplicar todo tipo de efectos desde reaktor en tiempo real.

Ya abordadas las observaciones mas conflictivas (supuestamente) del terreno el siguiente paso es hacer la primer prueba de campo.

Pruebas de campo:
La primer prueba consistira en hacer un sistema muy rudimentario que envie una senial por OSC y que mueva el cabezal del audio player en esa direccion y velocidad.

Tecnologias a usar:

Max/Msp para el control del audio

OSC para el envio de la senial

Processing para la rustica GUI

Elementos necesarios

.una interface que controle cuando clickeo en un area, la posicion del mouse y envia via OSC un valor que refleje la diferencia en relacion a la posicion anterior

.un breve desarrollo del protocolo

.una aplicacion que ejecute el audio determinado por la info que recibe

Observaciones

tengo que observar y probar si conviene mas controlar por velocidad de avance y retroceso, o controlar por envio del cabezal a una posicion determinada y calcular eso.

Pronto videos, imagenes y codigo.