->versiones files
v0.1:
en este primer paso la idea era tener andando la pista y poder modificar la velocidad de reproduccion rapidamente con interpolacion, para lograr un sonido tipo scratch source maxmsp scratch v0.1
v0.2:
puse un objeto JSUI el cual puedo programar por javascript y una mascara de opengl para poder hacerme mi propio elemento. La idea es pasarle a este la posicion del cabezal para que rote el disco. Y hacerlo activo al mouse, para que pueda rotar el disco yo y que pase el cambio de velocidad al control del groove~.
con esto tengo 2 problemas que uno deriva en el otro:
cuando muevo lento el disco, la interpolacion es mas rapida que el refresco de movimiento (dado que el JSUI solo actualiza cuando el mouse se mueve), entonces hace microcortes. La solucion para esto fue usar 2 tipos de interpolaciones dependiendo de la amplitud del movimiento, si el movimiento es corto, la interpolacion es mas larga.
esto trae un gran inconveniente de esto, a pesar de que suena bien, es que si muevo el cabezal, no queda acomodado a la posicion correcta. Entonces no puedo tener referencia visual, de la posicion del disco en relacion al audio. source maxmsp scratch v0.2
v0.3:
costo pero entendi un monton de cosas, despues de no dormir 2 dias pensando en como solucionar el problema de tener una referencia real de la posicion del cabezal en mi elemento JSUI, y poder controlar realmente en el scratch a donde quiero moverme, me di cuenta que la solucion estaba en lugar de manejar con el componente la velocidad de movimiento, debia indicar directamente a que parte queria moverme.
el motivo por el que no lo hice antes, era que el objeto groove~ no tiene manejo por puntero, sin por velocidad de reproduccion. La solucion fue hacer que calcule la distancia entre donde estaba y a donde quiero ir, y usar eso con un gran easyng (0.01).
tuve que cambiar varias cosas, por ejemplo que si no estaba clickeando, debia enviar por otro lado la senial de velocidad continua, asi que aproveche para ponerle un pitch.
Encontre tambien grandes dificultades en el jsui para manejar el control de los eventos del mouse, realmente deja mucho que desear en ese sentido.
en esta version muchos calculos que realizaba con patches los hago adentro del componente ya.
con esta version hice la primera demo, y ya empeze a acomodar todo para que quede en una version en modo presentation
v0.4:
aca ya empiezan los refinamientos, el principal era poder usar el scratch cuando estaba estopado el disco, y que el movimiento tenga inercia. descubri algo terrible del jsui, que es que en mouseRealese (que no tiene ese metodo) dispara un mouseDrag con la misma ubicacion del anterior mouseDrag, lo que me hacia perder todo calculo de inercia. Pero bueno, hardcodeando un poco lo solucione.
tambien le agregue el primer control para poder tener loops. Lo que tengo que ver ahora es de hacer el calculo de beats, y sobre eso segmentar los loops. source maxmsp scratch app v0.4
Origen de la idea:
La gente de Leo Burnet en conjunto con 2 productores amigos Agustina Panigazzi y Nacho Amato (de la productora Buena) nos vinieron a buscar hace un par de dias con un proyecto particular.
Con motivo del lanzamiento del nuevo celular de Samsung M7600 Beat DJ nos pidieron una pieza interactiva.
El celular tiene como feature principal la posibilida de experimentar la musica desde una vision de DJ, ya que montado sobre el reproductor de audio tiene un motor que permite desde la visualicacion hasta la experiencia acercarnos a la idea de tocar con una bandeja. Desde la seleccion del albun a un modo scratch donde uno tiene (dado que el celular es touchscreen) la posibilidad de hacer scratch sobre la pista. Incluso tiene la posibilidad de aplicar efectos como reverb, lowpass, highpass, marcar loops o ejecutar samples sobre la pista. Otro detalle interesante es que el hardware de audio del celular es propiedad de Bang and Olufsen. http://uk.samsungmobile.com/mobile-phones/samsung-beat-dj
Tomando esas caracteristicas nos pidieron que repliquemos ese funcionamiento a gran escala (en un monitor touchscreen SAMSUNG 460TSn. de 46 pulgadas) y lo mas realista posible comparado con la experiencia de un DJ e incluso agregando la posibilidad de que la gente grabe su vos y pueda por ejemplo hacer scratch sobre ella.
Objetivos:
Primario:
Poder transladar la experiencia a una escala mayor, y amplificar la calidad de esta. Para que la experiencia sea una fantasia exponencial de lo que sucede con el celular en el aspecto DJ.
Secundarios:
Desarrollar el proyecto de forma modular para que sea posible el desarrollo de un entorno para DJ real.
Desarrollar las faces modularmente para que puedan incorporarse distintos tipos de interfaces al software profesional, no solo grafica sino tecnologicamente para hacer ports a distintos entornous touch y multitouch (lemur, iPhone, reaktable, surface, etc)
Tester:
vamos a invitar a DJ Rol3x a participar del proyecto como tester, para que el no solo chequee la utilidad, sino que incluso nos guien en el desarrollo hacia una buena herramienta
Pasos:
Hay varios pasos en este desarrollo
pero en este caso vamos a enfocarnos en el desarrollo de la aplicacion madre para el audio
Necesidad:
Necesito un entorno que me permita controlar archivos de audio en alta calidad en tiempo real, permitiendome resamplearlos a distintas velocidades y con diversos efectos.
Investigacion Previa:
Candidateamos 3 entornos posibles para este desarrollo: Processing, dado que ya tenemos mucha experiencia e incluso trabajos previos con audio en tiempo real, processing fue la primera opcion que se nos ocurrio. Pero tiene una gran contra, que es el bajo rendimiento.
OpenFrameworks, fue la opcion pensada para suplir el problema que encontrabamos con processing. Pero nos encontramos con otro problema aqui, que es la falta de buenas librerias, estables y documentadas, para la manipulacion de audio en tiempo real.
Max/Msp, es un entorno en donde se testaca por sobre todo el rendimiento, es un lenguaje estrictamente usado para el desarrollo de aplicaciones de audio y nos garantizaba confiabilidad y vastos recursos para aplicar filtros etc.
asi es que la investigacion inicial dio como conclusion que el mejor entorno era Max/Msp
Observacion del terreno:
El siguiente paso, es determinar en el entorno seleccionado cual sera el enfoque para dimensionar la complejidad y formas de abordaje.
Por lo tanto habia que examinar que objetos, modulos, etc tiene el Max/Msp para poder emular lo mas real posible la actividad de una bandeja de DJ. Esto implica recorrer el manual, ejemplos, foros… por suerte hace un tiempo haciendo el soft para el simil Monome que habiamos fabricado ya habia trabajado con situaciones parecidas de manipulacion de audio y resampleo. Busque el source y recorde que usaba el objeto: groove~
que parece ser el objeto perfecto y resumido para lo que estamos buscando. E incluso nos soluciona aparentemente el seteo de loops. Incluso tiene una devolucion con valores normalizados (0 a 1) del progreso del sonido en su ejecucion lo cual es escencial para el display grafico.
Otro de los elementos a chequear, era la complejidad del trabajo con OSC, dado que esta aplicacion seria un modulo controlable desde distintas posibles GUI necesitamos elaborar un protocolo dentro de OSC para una comunicacion fluida.
Para esta situaciones encontramos el objeto:
udpreceive y udpsend
que resuelven el trabajo aparentemente de forma sencilla
El ultimo punto importante para evaluar en el terrano, es determinar la forma de abordaje de los efectos tanto para convulaciones como para filtros por dft
En ese sentido encontre, dedicandole un poco de tiempo a buscar en la web, una serie de patchs ya armados para distintos efectos como reverb, de todas formas creo que el camino mas rapido va a ser el de usar Reaktor como VST para el Max/Msp y de esta forma aplicar todo tipo de efectos desde reaktor en tiempo real.
Ya abordadas las observaciones mas conflictivas (supuestamente) del terreno el siguiente paso es hacer la primer prueba de campo.
Pruebas de campo:
La primer prueba consistira en hacer un sistema muy rudimentario que envie una senial por OSC y que mueva el cabezal del audio player en esa direccion y velocidad.
Tecnologias a usar:
Max/Msp para el control del audio
OSC para el envio de la senial
Processing para la rustica GUI
Elementos necesarios
.una interface que controle cuando clickeo en un area, la posicion del mouse y envia via OSC un valor que refleje la diferencia en relacion a la posicion anterior
.un breve desarrollo del protocolo
.una aplicacion que ejecute el audio determinado por la info que recibe
Observaciones
tengo que observar y probar si conviene mas controlar por velocidad de avance y retroceso, o controlar por envio del cabezal a una posicion determinada y calcular eso.
hace unos dias decidi comenzar a programar OpenCV directo en c++ en XCode
mas que nada porque suponia que al usar implementaciones, tanto en Processing como en OpenFrameworks me estaba perdiendo comprender la potencialidad del OpenCV
lo que queria compartir en primera instancia es el horror de los primeros pasos, para los que incursionaron con el XCode saben que cada ves que uno arma un proyecto nuevo, hay que linkear bocha de librerias, etc, y eso suele ser traumatico (al menos para mi)
para eso escribi este pequenia guia de setup, con un template de xcode, para arrancar con OpenCV
por cierto hay un maravilloso libro que pueden leer al respecto http://www.amazon.com/Learning-OpenCV-Computer-Vision-Library/dp/0596516134
desgraciadamente y dado este universo de pirateria que hay, si buscan ese titulo en google hay un par de personas que postearon un rapidshare para bajarlo
Segundo Paso, construir proyecto en XCode (se supone que el que lea esto ya alguna ves al menos abrio XCode y entiende un poco de que hablo, sino luego pregunten)
Abrir el xcode, yo estoy usando la version 3.1.3 que se puede bajar gratuitamente de la seccion de developers de Apple http://developer.apple.com/technology/tools.html
Una ves en el xcode, File -> New Proyect… y de ahi elijen
Command Line Utility -> C++ Tool
Hacer click derecho sobre el grupo del proyecto, y elegir la opcion:
Add -> Existing Framework
y ahi agregan el framework de opencv que se encuentra en:
/Library/Frameworks/OpenCV.framework
De todas formas, para facilitar todo el proceso, adjunto un proyecto base de opencv en xcode, que pueden usar como template y les facilitaria todo el segundo punto, solo tienen que abrirlo y empezar a escribir codigo.
TEMPLATE: baseopencv
Yo personalmente lo estoy usando para hacer todos los ejercicios del magnifico libro que comente mas arriba.
y el codigo para Processing
import processing.opengl.*;
import hypermedia.video.*;
OpenCV opencv;
int ancho_sketch = 800; //
int alto_sketch = 600; //
//-----------------------//
int ancho_captura = 320;
int alto_captura = 240;
PImage cara;
void setup() {
size(ancho_sketch,alto_sketch,OPENGL);
opencv = new OpenCV(this);
opencv.capture( ancho_captura , alto_captura );
opencv.cascade(OpenCV.CASCADE_FRONTALFACE_ALT);
cara = createImage(80, 60, RGB);
}
void draw() {
background(0);
Rectangle[] faces = opencv.detect();
opencv.read();
//image( opencv.image(),0,0);
//saveFrame(”cam####.png”);
//background(0);
for( int i=0; i
int x = faces[i].x;
int y = faces[i].y;
int w = faces[i].width;
int h = faces[i].height;
//cara.copy(opencv.image(),x,y,w,h,0,0,cara.width,cara.height);
x = (x*100)/ancho_captura;
x = (width*x)/100;
y = (y*100)/alto_captura;
y = (height*y)/100;
w = (w*100)/ancho_captura;
w = (width*w)/100;
h = (h*100)/alto_captura;
h = (height*h)/100;
bueno, mientras que estamos preparando la version para mappeo con curvas dinamica
aca va una posible solucion casera (o no tanto)
a continuacion va un paso a paso de como hacerlo
requerimientos:
quartzcomposer
3ds import plugin (nosotros hicimos un plugin para quartz para importar 3ds) GL3ds.plugin
algun programa 3d (nosotros usamos wings3d, que es gratuito) http://www.wings3d.com/
source de ejemplo mapping.zip
primer paso:
crear la forma en 3d donde uno quiere proyectar
hay que tener en cuenta que los vertex formen siempre planos, si dudan de esto usen faces de 3 vertex
luego pinten de color blanco la zona donde quieren proyectar, y el resto de negro
exporten la textura y el objeto como 3ds
segundo paso:
en el quartz composer pongan un ClearObject (sino el 3ds importer no anda)
y pongan un patch de 3d (OpenGL 3ds es el nombre que le pusimos)
en donde dice file pongan la ruta al file (atencion, debe ser estricta, o sea, /dir/dir/dir/file.3ds)
pongan la escala en un valor distinto a 0
agreguen un image importer y pongan la textura
(aca un ejemplo sin mascara de como queda el objeto 3d en pantalla)
tercer paso:
ahora, hay que producir el contenido, esto quiere decir que tienen que enmascarar el video con la textura exportada, y acomodar los tamaños a esta, recuerden exportar el video en un tamaño cuadrado exponente de 2 (256×256, 512×512, 1024×1024, etc)
cuarto paso (opcional de acuerdo a como exporten el video):
poner un blend con mascara en la escena
asignar como imagen el video, y como mascara la textura
quinto paso:
jugar con el objeto 3d, ponerlo donde quieran, rotarlo, y acomodarlo para la proyeccion
yo se que esto no es perfecto
pero creo que soluciona mucho a la hora de los ajustes para poder hacer un mapping con formas complejas
In the words of Erik B and Rakim:
Its been a long time we shouldn’t have left you..
006 is finally here.
It has been our longest release to date. What started out as a simple release became quite a project as we restructured the core, added the Poco library, an event system, abstracted the window system, updated the core to be iPhone friendly, plus bug fixes and lots of cool new stuff…..
Detailed list of the changes here:
http://www.openframeworks.cc/changelog-v006
+++++++++++++++++++++++++++++++++++++++++
006 Major Changes:
Poco:
We are very excited to add the Poco library to the openFrameworks project. Poco is a powerful cross platform toolkit similar to the Java SDK, it includes a large base of network, file io, event and threading related code. It can be used to upload files and even send emails! In 006 we are using it for the new event system, but others have already been using it for developing addons like ofxHttpUtils. A big thanks to Erik Sjödin for pushing us in this direction as well as for his awesome Firmata implementation which is now part of the core.
Events:
The event system in 006 allows classes to register to receive core events (like mouse pressed, key pressed, draw, update etc). It also allows you to create and register your own custom events. The event system took a long time to get right. A huge thanks to Stefan Hechenberger who along with Arturo Castro spent many hours working on getting the right balance for the OF event system.
Glut abstraction:
Another big and much requested change was to remove OF’s dependence on the GLUT windowing toolkit. With 006 you can now chose which type of windowing system you want when you build your app. So far we have successfully run OF with a GLFW windowing system, an iPhone window and even no window (ie command line).
Base classes:
006 now has base classes (like ofDraws, ofUpdates ) which allow for more flexible object orientated programming.
One more thing……
iPhone support:
OF 006 can run on the iPhone!
There are already several apps in the App Store that are made with openFrameworks
This is largely due to the amazing work done by Lee Byron, Zach Gage, Memo Atken and Damian Stewart. Who have worked very hard to get openFrameworks running on the iPhone. A big shout out to them for their hard work!
The iPhone support is an ongoing process but most of the core functionality is there, including loading images, loading fonts, drawing graphics… There will soon be some guides on the wiki for getting started with OF on the iPhone but in the meantime check the 006 iPhone download on the downloads page and these guides bellow:
http://www.memo.tv/ofxiphone
http://www.jeffcrouse.info/uncategorized/openframeworks-on-iphone/
ofxOpenCV has been massively revised - the changes are too many to list, but there are a lot of new features, image types and bug fixes + Region of Interest for all operations. Big thanks to Stefan and his 100+ svn commits
ofx3DModelLoader replaces ofxObjLoader. Currently supports textured and untextured 3ds files. In the future we aim to add support to other model formats including obj.
ofxNetwork now comes with examples for UDP communication
ofAddons.h is deprecated - from 006 on to use an addon you include its main header file directly.
No more OF_ADDON_USING_OFX…….
++++++++++++++++++++++++++++++++++++++++
Important note for 005 -> 006 projects
Most 005 projects should work with 006 but you will have to copy the source code of your project into an existing 006 project folder.
Moving an 005 project folder to OF 006 will not work.
Please do not try to merge 0.05 and 0.06 releases! Each OF release is designed to be a self contained unit. Please keep each folder separate, as in:
if you try to merge the two folders, you will be unhappy. Keeping the releases intact means your old code will always work in the future.
If you have any issues or quirks please give feedback in the forum.
In addition some community developed addons that were using the experimental 0.00573 release will need to be slightly modified to be compatible with 006. Please be patient as addon developers update their addons for 006
++++++++++++++++++++++++++++++++++++++++
OF Team += Chris O’Shea
We would like to welcome Chris O’Shea ( http://chrisoshea.org/ ) to the team.
Chris is an awesome artist and designer. He will be joining us as the fourth member of the openFrameworks team and will be in charge of developing the openFrameworks community online, including an awesome new public website, with project galleries and user pages.
Thanks to you all, for making the openFrameworks community what it is!
We hope you enjoy the 006 release! It has been a slow one, but we promise it will not be this slow again.
Estoy preparando una aplicacion nueva, entre ellas poder tener el automapping [http://tratadodeintegracion.cc/stream/?p=47] como una aplicacion final para usar.
Pero para eso necesitaba primero tener un buen sistema que ajuste la captura de la camara y setee los filtros de proceso de captura para adecuarlo a cada situacion.
Armando esa aplicacion pense que seria lindo tener un sistema tipo Max/Msp para poder configurar los filtros de proceso.
Entonces decidi armar una clase que me permita construir y setear nodos encadenados en un entorno tipo Max/Msp.
De eso se trata esta aplicacion
La idea era tener un modulo de facil implementacion en cualquier sketch, y que sea completamente abstracto para poder usarlo en lo que quiera.
Esta es la primer alpha, creo que es casi suficiente para lo que yo necesitaba, pero eso no quita que no sea bueno hacer evolucionar esta utilidad
Uso:
con el metodo ADD se puede agregar una caja
Doble click permite acceder al menu de opciones
Dragueando desde los outlets a los inlets se puede vincular distintos boxes
El metodo getContent genera la lista ordenada del circuito
Features:
Cargar y grabar un seteo de cajas
Limpiar la pantalla
Ante cada vinculo nuevo emite el evento de encadenamiento, devuelve la lista encadenada desde el In del sistema, al Out
Menu en ventana emergente
Implementacion basada en PGraphics, permite implementar la interface como si fuese un Image en el sketch
ToDo:
Poder eliminar de a una caja
Tener un save y load con distintos nombres
Que el save y load guarden las propiedades
Distintas cajas con mas inlets y outlets
aca van varios videos del multitouch que hicimos para el gobierno de la ciudad de buenos aires.
el primero es de la fase de desarrollo optamos por usar la libreria TUIO, lo mejor de esta libreria es que hay muchos ports entonces pudimos usar uno para el iPodTouch y no necesitamos tener todo el tiempo el multitouch armado.
Los videos que quedan son de la instalacion ya armada
