Node editor: Video overlay and synthetic image [Blender]

Cualquier producción cinematográfica está llena de efectos especiales realizados en la etapa de postproducción en la que se mezclan diferentes capas de imágenes, both real and synthetic, with different techniques, to reach levels of realism that is almost impossible us, in many cases, distinguish reality from fiction.

Los efectos que en principio eran imprescindibles en el campo de la ciencia ficción en películas como Prometeus, X men, etc son ya una parte muy importante de otras producciones en las que se opta por su uso evitando costosos y peligrosos escenarios (como por ejemplo El Lobo de Wall Street).

Trabajos como los de Pedro Lara, Alex & Steffen in INFINITY y otros nos ilustran la complejidad de escenas que consumimos a diario sin pestañear.

In this article we look at the foundation needed to generate a final image in which superpondremos a video or image to a virtual object created with 3D editing software. Usaremos la suite Blender para realizar la superposición de las imágenes utilizando un modelo gráfico de composición mediante el node editor.

Wallpaper

The first thing we will do is load our video or the background image that we want to use to be able to synchronize the three-dimensional object in a simple way.

Blender allows you to incorporate images in the background or “Background” Window. To access the menu that has this functionality, press the key “N” in 3D view. Among the options available in the side menu that appears we will select “Background Images”.

We can add different images or videos, We will start by adding one by clicking on the button “Add Image”

This last action will allow us to access new controls, including a new button “open” that will allow you to select the file with the background image or video.

In this exercise we will use a photo of my office at the university, with a white board in the background on which we will put a dynamic element.

By pressing “Open” a file explorer will open. In this explorer we can activate the preview of the files to know the content they have.

Loading an image will bring up new functions to manipulate its display, as its size, rotation, opacity etc.

We can also indicate if the image is on the objects (Front) or after them (Back).

We can also indicate in which type of window or perspective it will be used. In this case we will indicate that it is in the window that the camera displays.

We can activate this visualization in the 3D window with the key “0” from the numeric keypad or from the bottom menu by selecting “View->Camera”

Our environment will reflect these changes, pudiendo ver la imagen de fondo y, de forma superpuesta, el objeto 3D que tengamos.

Si renderizamos la escena verremos que la imagen de fondo no aparece, sólo veremos el objeto 3D. Esta imagen de momento sólo sirve de referencia. En la siguiente etapa le diremos al “compositor” de la escena que una los dos elementos.

Editor de Nodos

Para unir la imagen de fondo y el objeto 3D usaremos el editor de nodos del “Composer”

Al estudiar el Node editor: Image Filters vimos algunas ideas básicas sobre su funcionamiento. Al ser un ejemplo muy sencillo seguramente podremos realizarlo con unas sencillas instrucciones. Más adelante podremos profundizar en esta potente herramienta.

Lo primero que haremos es entrar en esta herramienta. En el icono inferior que representa el tipo de ventana en la que estamos trabajando, en este caso la ventana 3D, podemos activar un menú para seleccionar el “Node Editor”.

La visualización mostrará un área vacia y un conjunto de herramientas en la parte inferior de la ventana.

Podemos usar el editor de nodos para modificar tres cosas diferentes:

• Materials
• Composición de imágenes
• Textures

Por defecto se encuentra seleccionado el icono con una bola que representa a los materiales (colores y propiedades de la luz al incidir sobre el objeto). Deberemos seleccionar el icono con dos rectángulos que representan a dos imágenes para entrar en la edición de la “composición” de las imágenes finales.

También deberemos activar la visualización de los nodos. Activate “Use Nodes” y veremos una pantalla similar a la siguiente, en la que el primer rectángulo representa la imagen que se genera al hacer un render (los objetos 3D) and this node is connected to another that represents the output channel to the computer files.

Namely, when creating an image (first node) we store it in a file (second node).

Our work will consist of altering this information flow by graphically adding new nodes that will alter the result., adding, modifying, filtering, coloring, scaling etc the different images and generating one that adds, subtract or multiply the information contained in each of the images that we add.

To see the result while we are modifying the flow of information with new nodes, we will add an output viewer. The viewer is obtained from the lower menu “Add->Output->Viewer”. Namely, añadiremos un nodo de salida de imagen que nos permitirá visualizar cualquier imagen desde cualquier punto del flujo de nodos.

Conectaremos con el ratón (pulsando en los círculos correspondientes) la salida de imagen “Image” the “capa o nodo de renderizado” etiquetada con “Render Layers” con la entrada del nodo visor “Viewer” etiquetado con “Image”.

Sin embargo aún no veremos nada en la ventana.

Para ver la imagen deberemos activar “Backdrop” y pulsar el icono de la cámara de fotos en “Render Layer”.(we press “Esc” para volver a la ventana del editor de nodos).

Esto realizará el renderizado del objeto y lo mostrará en la pantalla.

Ahora sólo tendremos que añadir un nuevo nodo con la imagen de fondo y fusionarla con el objeto 3D.

Añadiremos la imagen con un nodo de entrada: “Add->Input->Image”

Para fusionarlos usaremos el nodo “Alpha Over” que permite superponer una imagen con fondo transparente sobre otra imagen.

Añadiremos el nodo con “Add->Color->Alpha Over”

En el nodo de imagen cargaremos la imagen fija o el vídeo correspondiente, y lo conectaremos, junto a la capa de renderizado, al nodo “Alpha Over”.

Si usamos la conexión tal y como aparece en la siguiente imagen veremos que sólo se ve una imagen, ya que ninguna de las dos tiene fondo transparente.

Para que el objeto 3D tenga fondo transparente deberemos acceder al menú de renderizado y en el submenú “Shading” veremos que está activa la opción “Sky” In the channel “Alpha”

Cambiaremos la opción “Sky” by “Transparent”

Si volvemos a presionar en el botón de la cámara, veremos que cambia la imagen y el fondo opaco de la imagen que tiene el objeto 3D se verá sustituido por una cuadrícula que indica que el fondo es transparente. (we press “Esc” para volver a la ventana del editor de nodos)

Si no se ve el objeto 3D es porque está detrás de la imagen o video que hemos añadido. Cambiaremos el orden de conexión en el editor de nodos y veremos el resultado esperado.

Con este tutorial queremos introducir una forma sencilla de obtener una superposición de imagen real y sintética. Faltan muchas cosas por mejorar, como equilibrar la iluminación, el color, usar máscaras, reflejar el entorno en los objetos, añadir sombras etc… que pueden enriquecer el resultado hasta hacerlo realmente convincente. Poco a poco introduciremos estas técnicas en nuevos ejercicios.

Result

Podemos ver una animación con el resultado de animar el cubo y superponerlo con la técnica descrita sobre la pizarra de mi despacho en la universidad. Para mejorar la credibilidad se ha usado un plano vertical, not shown, sobre el que se arroja la sombra del objeto.

Do you try to animate?

Blender