Render a Kitchen Concept in Virtual Reality: Render 360° Sketch in After Effects with Skybox Studio

Photo of Rick Barrett

Instructor Rick Barrett

Share this video
  • Duration: 12:28
  • Views: 4454
  • Made with Release: 17
  • Works with Release: 17 and greater

Use Cineware and Mettle’s Skybox Studio in Adobe After Effects to render 360 video from a C4D scene

Learn how to render 360° monoscopic VR video in After Effects using Cineware and Mettle’s Skybox Studio. This technique is especially valuable when using Sketch & Toon, since CV-VRCam and other raytraced VR effects don’t support non-photorealistic rendering. You’ll learn how to configure both Skybox Studio and Cineware to properly output a monoscopic VR video, inject metadata with YouTube’s Metadata Tool, and upload to YouTube.

Skybox Studio will render our Sketch & Toon scene via Cineware, the C4D render engine that’s built directly into After Effects. While you wouldn’t need a commercial license of C4D to render this scene, you will need Cinema 4D Visualize or Studio in order to set up the Sketch & Toon effect.

Watch our VR Video course for a more in-depth explanation of preparing and uploading 360 Videos to YouTube and Facebook.



- In this tutorial, we'll render a 360 degree Sketch & Toon visualization in After Effects, using Cineware and Mettle Skybox Studio plugin. For now, we're just going to worry about outputting a monoscopic 360 degree video, because it's a bit simpler, and Skybox Studio does not directly support stereo VR yet. The way Skybox Studio basically works is it's going to render a square frame for each of these cameras, the forward camera, the left, the reverse, the right, up and down, and it builds a cube out of those square renders. And then from that cube, it's going to translate that into our spherical equirectangular map. Now, before we jump into Skybox Studio, there's just a couple quick changes I want to make in our Cinema 4D file. I'm going to delete this camera that we've been using for our sketch drawings that is not related to the VR output, and we're just going to worry about rendering from this perspective here, in the working area of the kitchen. There's also a few tweaks I want to make to the animation based on the last render I did. I'm going to actually extend the hidden lines of the cabinet back out so that they fade a little bit slower, and I'm also going to go into the cabinet's hidden material and drop the opacity down to 50%, so that those lines aren't drawn quite so thick. Also, I'm going to go into the cabinets themselves and I actually want to go into the animate tab here and right-click on the completion tab, and choose to show the F curve. And I want to go ahead and pull this handle out a little bit, so that these lines are drawn a bit slower. So, just a couple of minor little tweaks for the sketch drawing there and we're ready to go. I'm going to go ahead and save this project incrementally, and we'll go ahead and switch into After Effects. I'm going to go ahead and simply start a new project. And from the file menu here, we're just going to go to Scripts and choose Skybox Creator. And this script is actually going to set up the basic composition that starts to create that Skybox cube. So, we're going to go ahead and create a new Skybox master. We're going to stick with the 1K size for our frames. We'll go with a frame rate of 30 fps, and I'm going to stick with this default duration of 30 seconds, because that's the duration of our animation in C4D. Before we create the Skybox master, let's look at these settings down here. I don't want to bother with the two node camera, because I'm actually just going to pull my camera straight out of Cinema 4D. And even though I'm using Cineware, I don't need to have the Using 3D Plugins option checked, because this is a special option for certain 3D plugins in After Effects, and Cineware doesn't require this special handling. So, we'll go ahead now and click the create Skybox master button, and that's going to create a comp for us. Now what we want to do is go ahead and bring in our Cinema 4D file, and thanks to Cineware, we can load it directly into the project. I'm just going to double-click here in the project panel and choose the kitchen sketch 03 file here in our import dialog. I'm going to go ahead and import that file, and now we can drag this Cinema 4D file directly into our Skybox master comp. You'll see it preview here in the composite window in software shading mode, which is why we're not seeing the sketch lines, but instead we're seeing the shaded objects like we would in the Cinema 4D editor view. What we want to do now is switch this from the software renderer into the final render option, which will give us the sketch lines based on the sketch render. And of course here at frame zero, there are no sketch lines, because we are only beginning to draw them onto the screen. So we'll go ahead and jump here to the 30 second mark, so that we can see what the animation will end up looking like at the end. Now, we do need to do a couple of little tricks to allow Skybox to control the Cinema 4D camera so that we can get the right perspective in the Skybox output. So for that, what we're going to do is first of all, extract the cameras that are currently in the Cinema 4D scene. So, I'm going to go down here and make sure my Cinema 4D file is selected, and click the Extract button. And now you can see that we get all of those individual cameras from the VR camera rig. We're actually not going to be using any of these except for the forward camera. So, you can just delete them if you want to clean things up. We can't directly use this forward camera though, because I want to allow Skybox to just work with its own camera. So, what I'm going to do is parent the Skybox camera to the forward camera, and we do that by clicking the pic whip and dragging it over the forward camera, hold down the Shift key so that the Skybox camera moves to the location of the forward camera when we do this. And now what we want to do is tell the Cineware layer that instead of using the camera that's built into the Cinema 4D scene, we're going to use the camera that's in the comp. So, we're going to choose comp camera here. And you can see that because we extracted the Cinema 4D camera and then used that camera for the Skybox camera, nothing changed actually in our final render. And that's really all we have to do to set up Cineware for the Skybox output. We're going to go ahead and return to the Skybox creator script, and now we're going to want to make sure that we're creating the Skybox from the current composition, the Skybox master, and we want to generate the Skybox output. We'll uncheck these options once again. And what you can do is just leave this dialog open while you're working, and then you don't need to worry about resetting these options. But, I just got it out of the way in this case. So, we'll go ahead and generate the Skybox output. It's going to do its magic, and we can close this dialog once again. And once again, we'll jump out to the 30 second mark so that we can see the final output, and here we go. You see a nice equirectangular render of this kitchen in sketch format. If you need to adjust your output, you can change it here in the Skybox converter effect. You can output a cube map or a sphere map or a full dome projection. We're going to stick with the equirectangular projection for YouTube VR, and we're going to keep the output frame width set at 4K. Another handy feature of the Skybox convert effect that I'll point out is the option here to reorient the camera view. I want my camera view to start facing the fridge, but if I wanted it to face the stove, for instance, I could go in here and simply rotate the camera around so that we start facing the stove. So, that is a really handy option that you might want to take advantage of if you need to reorient your camera after the fact. We'll go ahead and zero that out, and I'm just going to select this comp and go ahead and add it to the render queue. Rather than render this directly out of After Effects or via Media Encoder as a movie, what I'm going to do is go ahead and render out to a TIFF image sequence, so that I can reuse these frames later on for other things. So, I'm just going to go ahead and set this to TIFF, hit Okay. I'm going to go ahead and go to the output path, and we'll jump up to VR Kitchen 04. We're going to go ahead and put this in a folder called "Render" and I'm going to call this "360 Kitchen Sketch." And we'll just go with that. I'm going to hit Save and we will hit the Render button. Now, one thing that's important to keep in mind with Skybox Studio is that it is going to need to render at 1024 by 1024 frame for each of those six cameras, in order to build its cube map. So, this render from After Effects is going to take about six times longer than a single render of the entire sketch animation in Cinema 4D. Fortunately, Sketch renders very quickly and this whole animation is still going to be done in about two hours. So, I'm going to go ahead and let this run, and then in just a second, we're going to go ahead and finish the processing to upload this to YouTube VR and take a look at the results. So, that render took just under two hours here on this computer, and what I want to do now is take these TIFFs from our primary render and compile them into an H.264 that I can use on YouTube or Facebook as a 360 degree video. So for that, we're going to jump into Media Encoder, and I want to go ahead and load those TIFFs. I can't simply drag them in because it is an image sequence, so I need to actually double-click here in the queue or hit the plus button to open the file selector. And I'm going to go ahead and select the first file here of our animation, and make sure that the TIFF image file sequence check box is active. I'm going to go ahead and click Open. I do want to make sure that I'm outputting at an H.264, and I'm going to go ahead and click here in the match source high bit rate to change the settings of the encode. I don't need to export the audio, and I'm going to go ahead and change the file name here to just "3D Kitchen Sketch" without the frame number. You can see I have an earlier version there, and I'll just go ahead and replace that. Now, as far as the actual encoding settings, you may see these change from video to video as we continue exploring VR video, because we're still trying to figure out exactly the right encoding settings. For this one, what I'm going to go ahead and do is set our frame rate to 30 FPS. Sixty would probably be ideal, but I'm keeping these renders as short as possible for our tutorials. For the bit rate, I'm going to go ahead and set this to a constant bit rate, and I'm going to go ahead and set this up to 100 megabits per second. YouTube's going to actually mush this down into several different versions on its own anyway, so it's best to go ahead and give it more quality than less. And for the key frame distance, I'm going to go ahead and activate this and set it to 30, so that we get a key frame every second. With that, we're ready to go ahead and export this out, so I'm going to click Okay, and then hit the Play button here so that it can start processing the queue. Once Adobe Media Encoder finishes creating that H.264 what we're going to need to do is pull up the metadata tool provided by YouTube, and encode or inject metadata into that file so that YouTube and Facebook can know that it's a 360 video. So we'll go ahead and click open, and we're going to go ahead and grab the 360 Kitchen Sketch file that just finished rendering. And we want to check the spherical check box here. Because this is a monoscopic 360 video, you'll want to leave the 3D top bottom option unchecked. And then, we'll just simply save this file with the injected metadata. Once we've done that, we'll go ahead and switch to the browser and upload the file to YouTube. I'm going to upload it just as private video for now, and I'm going to go ahead and choose that file that we just injected. Once this video finishes uploading and processing, it will take a few additional minutes after YouTube says the processing is complete for YouTube to create all of the versions necessary and to provide you with a 360 video that you can view in the browser or on your mobile device. Because this is a monoscopic project, a headset device like Google Cardboard won't provide any additional benefit, because there's no stereo effect. I hope you've enjoyed learning how to use Sketch & Toon, Cineware, and Mettle Skybox Studio to create this kitchen visualization.
En este tutorial, vamos a renderizar 360 gradps Sketch & Toon visualización en After Effects, utilizando plugins Cineware y Mettle Skybox Studio. Por ahora, sólo vamos a preocuparnos por la salida de un vídeo monoscópico 360 grados, porque es un poco más simple, y Skybox Studio no admite directamente estéreo VR todavía. La forma de Skybox Studio funciona básicamente se va a dar un marco cuadrado de cada una de estas cámaras, la cámara hacia delante, la izquierda, a la inversa, la derecha, arriba y hacia abajo, y se construye un cubo de los renders de cuadrados. Y después de que el cubo, se va a traducir ese en nuestro mapa esférico equirectangular. Ahora, antes de saltar a Skybox Studio, hay sólo un par de rápidos cambios que quiero hacer en nuestro archivo de Cinema 4D. Voy a eliminar esta cámara que hemos estado utilizando para nuestro dibujos de croquis que no está relacionada con la salida de VR, y sólo vamos a preocuparnos De la renderización desde esta perspectiva que aquí, en el área de trabajo de la cocina También hay algunos cambios que quiero hacer a la animación basada en el último render que hice. Voy a extender en realidad las líneas ocultas de la parte posterior del gabinete hasta que se desvanecen un poco más lento, y también voy a entrar en los materiales de gabinetes ocultos y la opacidad al 50%, por lo que esas líneas no están dibujadas tan gruesas. Además, voy a entrar en los gabinetes y que en realidad quiero entrar en la pestaña animada aquí y haga clic en el tabulador, y elegija mostrar la curva F. Y quiero seguir y sacar esto de manejar pocos bits, por lo que estas líneas se dibujan un poco más lento. Por lo tanto, sólo un par de ajustes para el dibujo de bosquejo y no estamos listos para ir. Voy a seguir y guardar este proyecto de forma exponencial y vamos a seguir y dentro del interruptor en After .Efects voy a seguir y simplemente comenzar un nuevo proyecto. Y en el menú archivo aquí, sólo vamos a ir a secuencias de comandos y elegir Skybox Creator. Y este guión es en realidad va a configurar la base de composición que empieza a crear ese cubo de Skybox. Por lo tanto, vamos a seguir y crear un nuevo maestro de Skybox. Vamos a seguir con el tamaño de 1K para nuestros frames. Vamos a ir con una velocidad de 30 fps, y voy a seguir con esta duración predeterminada de 30 segundos, porque esa es la duración de la animación en nuestro C4D. Antes de crear el maestro de Skybox, vamos a ver estas configuraciones aquí abajo. Sino quieren molestarse con los dos nodos de la cámara, porque esto realmente sólo va a estirar mi cámara directamente de Cinema 4D. Y a pesar de que estoy usando Cineware, no necesita tener el plugin 3D usando la opción marcada, porque este es una opción especial para ciertos plugins 3D en After Effects, y Cineware no requiere este manejo especial. Por lo tanto, vamos a seguir y hacemos click en el botón principal Skybox Creator, Y eso va a crear una imagen de prototipo para nosotros ahora lo que queremos hacer es seguir y llevar en nuestro archivo de Cinema 4D, y gracias a Cineware, podemos cargarlo directamente en el proyecto. Sólo voy a hacer doble click en el panel del proyecto y seleccione el archivo cocina boceto 03 aquí en nuestra importación de diálogo. Voy a seguir y de importación de ese archivo, y ahora podemos arrastrar este archivo C4D directamente en Skybox maestro Lo verá será una vista previa aquí en la ventana compuesta en modo sombreado de software, que es por eso que no estamos viendo el boceto de líneas, pero en cambio estamos viendo la sombra objetos como lo haríamos en la vista del editor de Cinema 4D. Lo que queremos hacer ahora es interruptor de esto desde el software de render opción en el render final, que se nos dan las líneas de boceto basado en el boceto de render. Y, por supuesto, aquí, en el marco cero, no hay líneas de boceto, porque sólo estamos empezando a atraerlos hacia la pantalla. Así que vamos a seguir adelante y saltar aquí a la marca de 30 segundos, por lo que podemos ver lo que la animación terminará buscando como le gustaría al final. Ahora, nosotros tenemos que hacer un par de pequeños trucos para permitir a Skybox el control de cámara de Cinema 4D para que podamos obtener la perspectiva correcta en la salida de Skybox. Asi que para eso, lo que vamos a hacer es primero que todo, extraer las cámaras que son actualmente en la escena del Cinema 4D. Por lo tanto, esto va a ir aquí y asegurarse de que mi archivo de Cinema 4D está seleccionada y haga clic en el botón Extraer. Y ahora se puede ver que obtenemos todas esas cámaras individuales de la plataforma de la cámara VR. No vamos realmente va a utilizar cualquiera de éstos a excepción de la cámara hacia delante. Por lo tanto, sólo puede borrarlos si así lo desea limpiar cosas para arriba. No podemos utilizar directamente esto adelante de la cámara sin embargo, porque quiero permitir Skybox sólo funciona con su propia cámara. Por lo tanto, lo que voy a hacer es el padre de la cámara de Skybox a la cámara hacia delante, y nosotros que, al pulsar el látigo y arrastrándolo sobre la cámara delante, mantener pulsada la tecla Shift para que el Skybox cámara se mueva a la ubicación de la cámara hacia delante cuando hacemos esto. Y ahora lo que queremos hacer es decir a la capa de Cineware que en vez de usar la cámara, que se construye en la escena del Cinema 4D, vamos a utilizar la cámara que está en el borrador. Por lo tanto, vamos a elegir un borrador de cámara aquí. Y se puede ver que debido a que hemos extraído de la cámara de Cinema 4D y luego utilizó esa cámara para la cámara de Skybox, nada ha cambiado realmente en nuestro último render. Y eso es todo lo que tenemos que hacer para configurar Cineware para el Skybox de salida. Vamos a seguir y volver a la secuencia de comandos de Skybox Creator y ahora vamos a querer asegurarnos de que estamos creando el Skybox de los actuales composición, el maestro de Skybox, y nosotros queremos generar la salida de Skybox. Bien Desmarcar estas opciones una vez más y lo que puede hacer es dejar este diálogo abierto mientras se está trabajando, y entonces usted no tiene que preocuparse de restablecer estas opciones. Sin embargo, acabo de salir de la manera en este caso. Muy bien seguir y generar la salida de Skybox. Se va a hacer su magia, y podemos cerrar este diálogo una vez más. Y una vez más, vamos a saltar a la marca de los 30 segundos de manera que podamos ver el resultado final, y aquí vamos. Ve un buen render equirectangular de esta cocina en formato de dibujo. Si necesita ajustar su salida, puede cambiar aquí en el efecto convertidor de Skybox. Puede dar salida a un Mapa del cubo o un mapa esfera o una cúpula completa de proyección. Vamos a seguir con el proyección cilíndrica equidistante para YouTube VR, y vamos a mantener la salida ancho del marco fijado en 4K. Otra caracteristica útil del efecto de conversión que Skybox voy a señalar la opción aquí para reorientar la vista de la cámara. Quiero que mi cámara vistas a iniciar frente a la nevera, pero si yo quería que se enfrentan a la estufa, por ejemplo, Podría seguir aquí y simplemente girar la cámara alrededor de modo que empezamos frente a la estufa. Por lo tanto, es una opción muy útil que es posible que desee aprovechar las si necesidad de reorientar la cámara después del hecho. Vamos a seguir adelante y que cero sólo voy a seleccionar este borrador y seguir y agregarlo la cola de render. En lugar de hacer esto directamente de After Effects o por medio de Media Encoder como una película, lo que voy a hacer es ir y renderizar una imagen TIFF de secuencia, de modo que pueda volver a utilizar estos frames más adelante para otras cosas. Por lo tanto, sólo vamos a seguir y establecer este a TIFF, impacta bien. Voy a seguir e ir a la ruta de salida, y vamos a saltar hasta VR cocina 04. Vamos a seguir y poner esto en una carpeta llamada "Render" y voy a llamar a este "Boceto 360 cocina", y sólo tendremos que ir con el que estoy.. Vamos a dar click en Guardar y vamos a hacer click en el botón Procesar. Ahora, una cosa que es importante a tener en mente con Skybox Studio es que se va a tener que hacer en 1024 por 1024 frames para cada uno de esas seis cámaras, en el fin de construir su mapa de cubo. Así que este render de After Effects se va a tomar aproximadamente seis veces más que un solo render de toda la animación boceto en el Cinema 4D. Afortunadamente, Sketch render lo hace muy rápidamente y toda esta animación todavía va a ser hecho en unas dos horas. Por lo tanto, voy a seguir y dejar esta carrera, y luego, en un segundo, vamos seguir y terminar el procesamiento para subir a YouTube esta VR y echar un vistazo a los resultados. Por lo tanto, para que renderice tomó poco menos de dos horas de aquí en este equipo, y lo que quiero hacer ahora es tomar estos archivos TIFF de nuestra primaria prestar y compilarlos en un H.264 que puedo usar en YouTube o Facebook como un video de 360 grados. Así que por eso, vamos a saltar a Media Encoder, y quiero ir seguir y cargar los archivos TIFF. No sólo tiene que arrastrar ya que es una secuencia de imágenes, así que tengo que realmente hacer doble clic aquí en la cola o click el botón más para abrir el selector de archivos. Y voy a seguir y seleccionar el primer archivo de aquí nuestra animación, y asegurarnos de que la casilla TIFF de secuencia de verificación de archivo de imagen está activa. voy a seguir y haga clic en Abrir. Yo quiero estar seguro de que estoy en la salida un H.264, y voy a seguir adelante y haga clic en aquí en la fuente alta de bit. Cambiar la tasa de configuración de la codificación. No necesito para exportar el audio, y vamos seguir y cambiar el nombre del archivo aquí sólo para "Bosquejo 3D de la cocina" sin el número de cuadro. Se puede ver que tengo una versión anterior allí, y voy a seguir y reemplazar eso. Ahora, en cuanto a los ajustes de codificación reales, es posible que vea que éstos cambian de un vídeo a otro a medida que continuamos explorando vídeo VR, porque estamos todavía tratando de averiguar exactamente los ajustes de codificación adecuadas. Para éste, voy a seguir y establecer la velocidad de fotogramas a 30 fps. Sesenta probablemente sería lo ideal, pero estoy manteniendo estos renders lo más cortos posible para nuestros tutoriales. Para obtener la velocidad de bits, voy a seguir y ponga esto en una tasa de bits constante, y voy a seguir y establecer este hasta 100 megabits por segundo. de YouTube verá en realidad esto abajo en varias versiones diferentes sobre su propia de todos modos, así que lo mejor es seguir y dar más calidad que menos. Y para la clave de distancia de frame, voy a seguir adelante y activar este y ponerlo a 30, para obtener un fotograma clave cada segundo. Con esto, estamos listos para seguir y exportar esta fuera, así que voy a hacer click, y luego click el botón Reproducir aquí para que pueda iniciar el procesamiento de la cola. Una vez que Adobe Media Encoder haya acabado de crear H.264 lo que vamos a tener que hacer es tirar hacia arriba la herramienta de metadatos proporcionados por YouTube, y codificar o inyectar metadatos en ese archivo para que YouTube y Facebook pueden saber que que es un video 360. Así que vamos a seguir y haga click en Abrir, y vamos a seguir y agarrar el archivo Boceto cocina 360 que acaba de terminar la representación. Y queremos active la casilla de verificación esférica aquí. Debido a que este es un video 360 monoscópico, querrá dejar la opción 3D para la parte inferior y superior sin marcar. Y entonces, sólo tendremos simplemente click en guardar este archivo con la inyectada metadatos. Una vez que hemos hecho esto, vamos a ir y cambiar al navegador y cargar el archivo en YouTube. Voy a subir al igual que video privado por ahora, y vamos va a seguir y elegir ese archivo que acabamos inyectar. Una vez que el vídeo finaliza la carga de procesamiento y, lo hará tomar unos minutos adicionales después de YouTube dice que el procesamiento se ha completado para YouTube para crear todas las versiones necesarias y para proporcionarle un vídeo 360 que se puede ver en el navegador o en su dispositivo móvil. Debido a que este es un proyecto monoscópico, un dispositivo auricular como Google Cardboard no proporcionanrá ningún beneficio adicional, debido a que no hay efecto estéreo. Espero que hayas disfrutaron de aprender a usar Sketch & Toon, Cineware, y Mettle Skybox Studio de crear esta visualización de una cocina.
Resume Auto-Scroll?