LA DIRECCIÓN Y REALIZACIÓN AUDIOVISUAL DE REALIDAD VIRTUAL. ANÁLISIS DE QUEERSKINS: A LOVE STORY, UNA APROXIMACIÓN AL CINE VOLUMÉTRICO

 

VIRTUAL REALITY FILMMAKING. ANALYSIS OF QUEERSKINS: A LOVE STORY, AN APPROACH TO VOLUMETRIC CINEMA

 

Francisco-Julián Martínez-Cano

Universidad Miguel Hernández de Elche

 

Emilio Roselló Tormo

Universidad Miguel Hernández de Elche

 

 http://www.doi.org/10.5281/zenodo.7654912

……………………….

Recibido: 15 11 2019

Aceptado: 20 03 2020

Publicado: 10 05 2020

….……………………


Cómo citar este artículo

Martínez-Cano, Francisco-Julián y Roselló Tormo, Emilio. 2020. La dirección y realización audiovisual de realidad virtual. Análisis de Queerskins: a Love Story, una aproximación al cine volumétrico.

ASRI. Arte y Sociedad. Revista de Investigación en Arte y Humanidades Digitales. (18), 118-133

Recuperado de https://revistaasri.com/article/view/4757

 

 


 


Resumen

En la actualidad, la tecnología de realidad virtual ofrece a la industria audiovisual nuevos modos de contar historias. Una de las técnicas que posibilita el registro de imagen en movimiento y su implementación en entornos virtuales 3D es la captura volumétrica, que plantea un acercamiento entre los métodos del cine convencional y los de los discursos audiovisuales de ficción para RV. En este contexto, realizamos una revisión bibliográfica previa, para abordar el estudio de la aplicabilidad de las técnicas de producción tradicionales a las producciones de realidad virtual. Posteriormente diseñamos un modelo de análisis para este tipo de obras, a partir de los conceptos de Heeter (1992), Slater y Wilbur (1997). Este se centra en el efecto presencia como base para la inmersión en el universo diegético de la RV. Los resultados expuestos, se obtienen tras analizar Queerskins: a love story (Szilak y Tsiboulsk, 2018), uno de los primeros cortometrajes de realidad virtual con realización audiovisual volumétrica.

 

Palabras clave: Cine volumétrico, realidad virtual, interactividad, dirección audiovisual, cinematografía RV.

 

Abstract

Currently, virtual reality technology offers to the audiovisual industry new ways of telling stories. One of the techniques that enables video image recording and its implementation in 3D virtual environments is volumetric capture, which raises an approach between conventional cinema methods and those of fictional audiovisual discourses for VR. In this context, we carry out a previous bibliographical review, to address the study of the applicability of traditional production techniques to virtual reality productions. Subsequently, we designed an analysis model for this type of work, based on the concepts of Heeter (1992), Slater and Wilbur (1997), which is based on the effect of presence as a basis for the immersion of the spectator in the diegetic universe of the VR artworks. The exposed results are obtained after analyzing Queerskins: a love story (Szilak and Tsiboulsk, 2018), one of the first virtual reality short films with volumetric filmmaking.




Keywords: Volumetric cinema, virtual reality, interactivity, filmmaking, VR cinematography.


 

 

 

 

 

1. Introducción

 

La realidad virtual nace a mediados de siglo XX, a partir del trabajo de investigación llevado a cabo por Ivan Sutherland (1968), entre otros. En la década de los noventa, la industria del videojuego comenzó a explorar sus posibilidades, pero no ha sido hasta principios del siglo XXI cuando ha comenzado a constituirse como tecnología de consumo, en las que las industrias audiovisuales invierten para la construcción de nuevos productos culturales. Según John Gaeta, director creativo de LucasFilm’s ILMxLAB: “El cine es una forma maestra del arte de contar historias, pero contenido en la cuarta pared”. Actualmente esta frontera del arco de proscenio se puede salvar, “convirtiendo al cine en un portal hacia nuevas plataformas inmersivas de expresión” (Gaeta, citado en Bucher, 2017, p. 2). Las narrativas contemporáneas exploran las posibilidades aportadas por estos avances tecnológicos. Los discursos audiovisuales se expanden en un oxímoron de opciones donde la pantalla rectangular desaparece para dar paso a nuevas propuestas, que se acercan al concepto de experiencia, potenciando la empatía de la audiencia y su inmersión en el relato. La realidad virtual aplicada a la práctica cinematográfica no solo ofrece un nuevo modo de consumir las producciones audiovisuales, sino que abre los límites de la dirección y realización audiovisual a nuevos recursos y modos de construir la imagen en movimiento.

 

Los modos de producción actuales para estas plataformas pasan por un primer estadio de mixtura entre el cine y los videojuegos, pues las herramientas de edición final para sus versiones interactivas son motores de videojuegos tales como UDK o Unity. Esta primera fase de fusión entre el medio videolúdico y el medio cinematográfico, aporta la interacción del usuario como un nuevo elemento a tener en cuenta en la construcción de estructuras narrativas. No obstante, la creación de la imagen virtual se inició a través del modelado 3D y del uso de gráfica por computador, reconstrucciones hiperrealistas o no de los entornos donde transcurre la acción en la que se introduce al espectador. En las narrativas virtuales, el usuario es introducido en un entorno ficcional, apartado de la realidad física

circundante. La ubicuidad de estar en dos lugares en un mismo momento es recurrente. Sin duda, estos dispositivos posibilitan una evolución de la narrativa, según indica Shari Frilot, comisaria de la sección New Frontier del festival de cine Sundance:

VR as a gadget that delivers an experience is compelling, but it can also change our storytelling culture profoundly. Not only how we tell stories but why. The role of storytelling as a communication platform (Tricart, 2017).

Los sistemas de sensores de movimiento para la captura y posterior animación de los modelos 3D ha sido una técnica desarrollada y aplicada principalmente para animación digital, pero algunos dispositivos fueron perfeccionados y empleados en la industria de los videojuegos, como es el caso del Kinect para la videoconsola XBOX, un sensor de movimiento capaz de realizar capturas volumétricas a través de un sensor de profundidad y un sensor de infrarrojos. Estos dispositivos dan lugar a la captura de video volumétrico, un nuevo medio de registro de la imagen en movimiento, capaz de generar volúmenes tridimensionales que se pueden implementar tanto en entornos de realidad virtual y realidad aumentada, en este último caso generando lo que podríamos considerar como hologramas. En este texto analizamos una de las últimas producciones audiovisuales para RV, profundizando en aquellas cuestiones que marcan un nuevo camino en las estrategias y procedimientos relativos a la dirección y realización audiovisual para los medios inmersivos.

 

1.1  La dirección y realización audiovisual de realidad virtual

Los medios emergentes de la imagen en movimiento convergen en la renovación de las técnicas y estrategias de la dirección audiovisual, partiendo de las características intrínsecas de estos nuevos productos culturales. La realidad virtual y la realidad aumentada han sido dos áreas desarrolladas durante los últimos sesenta años, siendo en la actualidad cuando comienzan a presentarse como tecnologías de consumo y entretenimiento. Esto da lugar a la aparición de nuevas terminologías y conceptos todavía en desarrollo, tales como VR film, VR filmmaking, cinematic virtual reality o volumetric filmmaking, que podríamos traducir en película de realidad virtual, dirección cinematográfica virtual, realidad virtual cinemática y dirección cinematográfica volumétrica o producción audiovisual volumétrica. La gramática de la realización audiovisual se ha desarrollado a lo largo del siglo XX, dando como resultado un rico abanico de recursos y técnicas para crear historias convincentes. En esta misma línea, se desarrollan actualmente los mecanismos necesarios para crear nuevos discursos audiovisuales que enganchen a la audiencia en RV. Es necesario profundizar en la investigación acerca de estos medios, pues se encuentran en un estadio primigenio de su evolución, en su uso y aplicación para la construcción del relato cinematográfico virtual.

 

[...] it should be no surprise that cinematic VR—the combining of film techniques and principles with immersive media—creates an even greater sense of an unmediated experience and more immediate meanings for the viewer (Bucher, 2017, p. 6).

 

La investigación sobre la aplicación de las técnicas de la dirección cinematográfica tradicional al desarrollo de producciones para realidad virtual se ha centrado en diferentes aspectos clave. Bates (1991) se centra en el estudio de la suspensión de incredulidad, y la necesidad de unas estructuras narrativas consistentes para la creación de este efecto, a partir de las mismas gramáticas del lenguaje y la producción audiovisual tradicionales como la posición de cámaras, la iluminación y el sonido, la continuidad y el montaje. El trabajo de Cho et al (2016) explora diferentes aproximaciones de paralelismo técnico, profundizando en el engagement de la audiencia a través del punto de vista del usuario, y Syrett, Calvi y Van Gisbergen (2016) elaboran un estudio sobre la comprensión narrativa y cómo se efectúa en el medio virtual, atendiendo a la dificultad de dirigir la mirada del espectador, para guiarlo a lo largo de la experiencia narrativa, evitando distracciones y pérdidas de información de la diégesis, cuestión que también aborda Nielsen et al. (2016), aportando algunas estrategias para guiar la atención del usuario durante el transcurso de la narración en el entorno virtual.

 

La teoría de transportación (Green y Brock, 2000, p. 701), es al medio literario lo que para el medio cinematográfico se concibe como suspensión de la incredulidad, y a efectos de la realidad virtual se denomina presencia (Mateer, 2017). Esta cuestión es responsabilidad del director, y de ella depende una efectiva conexión de la audiencia con el discurso narrativo, un certero engagement que dé lugar a la inmersión del espectador en la obra. El concepto de presencia constituye “un estado de conciencia, el sentido (psicológico) de estar en el entorno virtual” (Slater y Wilbur, 1997, p. 4), y es necesaria para procurar la inmersión del usuario en el relato, definida como la cualidad de las pantallas para generar y ofrecer al espectador una “ilusión inclusiva, extensa, circundante y vívida de la realidad” (Slater y Wilbur, 1997, p. 606, citado en Martínez-Cano, 2018, p. 164). La continuidad, otro de los aspectos que en un principio se consideraba diferenciador entre cine y realidad virtual, debido a que las primeras producciones de video 360 carecían de edición, conformándose en un plano-secuencia infinito, resulta ser un factor común, tanto si pensamos en montaje interno o externo, ya que la posproducción y la continuidad en las obras audiovisuales para RV actuales emplean estas técnicas y procedimientos (Ijäs, 2016). No obstante, la continuidad se mantiene de manera diferente en ambos medios, ya que la interactividad y las estructuras narrativas múltiples y ramificadas del medio virtual resultan en la construcción de discursos audiovisuales más complejos.

 

 

1.2 Adaptación de las técnicas tradicionales de la realización audiovisual a la RV

La investigación sobre el puente entre realidad virtual y práctica cinematográfica se encuentra en un estadio inicial, por lo que es necesario profundizar en las conexiones entre los métodos de producción de la industria audiovisual y los de producción para realidad virtual, tratando de identificar aquellos procedimientos que pueden ser adaptados para crear narrativas audiovisuales inmersivas, al mismo tiempo de construir técnicas específicas para este medio.

 

La preproducción, y todas aquellas cuestiones relativas a la preparación resultan comunes en ambos, diferenciados únicamente por la existencia de interacción o no en la obra audiovisual para RV, ya que, en este caso, la estructura narrativa abandona la linealidad y se conforma en una ramificación de acontecimientos conectados entre sí por las diferentes opciones que ofrece la interacción, y que son presenciados o no dependiendo de su activación por parte del usuario. En este caso, el desarrollo del guion incurre en una arquitectura narrativa más compleja. Además de la interacción, otra diferencia principal de ambos medios radica en la dirección de la mirada del espectador. En el medio pantalla, existen multitud de estrategias para controlar la atención de la audiencia en el espacio rectangular de la imagen en movimiento. Sin embargo, en los entornos virtuales y aumentados, esta cuestión resulta en un desafío, al no existir los límites finitos de la “ventana diegética”, y al tener el usuario el control sobre dónde dirige su mirada. Mateer, partiendo de las técnicas y recursos que identifica Katz (1991), para dirigir la mirada del espectador, establece que estas pueden ser aplicadas también al medio virtual:

 

Katz (1991) discusses various compositional tools to achieve this, all of which include visual differentiation of elements in some way. (These techniques are also discussed by many others and build on those developed by classical painters). Although some of these rely strictly on the limits imposed by a finite ‘window’ into the environment (i.e., the film frame), several are applicable in a CVR context and can be used to promote the viewer’s direction of attention (Mateer, 2017, p. 13).

 

Aunque en este estudio, Mateer se centra únicamente en las producciones para realidad virtual sin capacidad interactiva, obras de ficción audiovisual rodadas en formato 360 con una estructura lineal en cuanto al desarrollo diegético, los recursos gramaticales de la composición y dirección de la mirada en el cine que pueden ser aplicables a las experiencias cinemáticas de RV también lo son cuando la producción añade la interacción del usuario, gamificando el desarrollo narrativo. Anteriormente diferenciamos entre producciones interactivas y no interactivas para RV. En el presente trabajo nos centramos en las experiencias cinematográficas de realidad virtual interactivas que, según Maxwell Planck, fundador del Oculus Story Studio:

 

I believe that cinematic VR and interactive VR are two different media. The visitor feels dramatically different when they can only look around vs. when they can move around in a space. Both have amazing potential for art, but I personally find interactive VR to give the visitor a stronger feeling of presence which I find most compelling in VR (Tricart, 2017).

 

Contar historias en RV versa sobre dejar al espectador descubrir la trama, más allá de contarla desde la perspectiva de la narrativa tradicional y la focalización (Genette, citado por Jost y Gaudreault, 1995), dando lugar a nuevos modos de este concepto. La realización audiovisual siempre ha aprovechado los límites de la pantalla para esconder la parafernalia técnica detrás de las escenas. Además, el uso de la regla de los tres tercios, la teoría de ejes o el salto proporcional han servido para mantener a la audiencia sumergida en la historia. Tanto en el cine convencional como en las producciones audiovisuales para realidad virtual, mantener a la audiencia lejos de los aspectos técnicos es fundamental para asegurar una experiencia inmersiva (Bordwell, Staiger y Thompson, 1985).

De las cuestiones relativas a la dirección y realización, revisamos a continuación el uso de la cámara y el montaje, dos de las cuestiones con mayor peso en la producción audiovisual, para su aplicación en la construcción de ficciones para realidad virtual.

 

 

1.2.1 La cámara en las producciones de realidad virtual 

 

En el cine, la posición de la cámara, sus encuadres y movimientos son elementos clave de la enunciación cinematográfica, instancias que constituyen las convenciones del lenguaje audiovisual tal y como lo conocemos. En la RV los encuadres se desvanecen, y los movimientos de cámara atienden a que el usuario tiene la posibilidad de explorar los espacios virtuales, o por el contrario el espectador permanece estático en el entorno virtual a lo largo de los acontecimientos presentados, durante los cuales puede desplazar su mirada y explorar visualmente el espacio diegético. También puede darse el caso de que este movimiento atienda a una situación concreta. Por ejemplo, la experiencia arquetípica de la montaña rusa, pero el usuario permanece inmóvil en su misma posición, siendo la cámara la que efectúa el movimiento, lo que acentúa la enunciación y reduce la inmersión. Según apunta Mariano Zelcer: “Las imágenes de realidad virtual son entonces una secuencia puesta en disponibilidad sobre la cual la visión queda determinada, por contraposición al cine, por el usuario” (Zelcer, 2017, p. 337). 

 

Por tanto, en la dirección para realidad virtual y aumentada se trata únicamente de posicionar la cámara, y en caso de que esta vaya a moverse, se debe encontrar el modo preciso para justificar dicho movimiento, ya que generalmente el espectador ocupa la visión de la cámara como de un plano subjetivo. A este respecto, Márquez apunta: “Si por algo se caracterizan los sistemas de RV es por su visión en primera persona, con el efecto cinematográfico de la cámara subjetiva en movimiento” (2015, p. 206, citado en Zelcer, 2017, p. 335). Kelly (2016) por el contrario, sostiene que no se trata de un punto de vista subjetivo, sino que lo conceptualiza como you person view”. Sin embargo, Mariano Zelcer, establece que, si no hay intencionalidad de la mirada, no se puede señalar la posición de cámara en realidad virtual como un plano subjetivo:

 

[...] no hay en la realidad virtual una “cámara subjetiva” como se observa en el cine, puesto que no hay definición de una direccionalidad de la mirada sobre la imagen, sino sólo una posición. Esta particularidad de las imágenes de RV, más las ya señaladas referentes al cambio que se produce en ellas con el movimiento del sujeto espectador, hacen que la cámara subjetiva no sea en estas imágenes un efecto de enunciación marcada sino, por el contrario, uno de los principios constitutivos de su transparencia: las cosas simplemente están allí, los sucesos transcurren y nosotros los observamos (Zelcer, 2017, p. 336).

 

Siguiendo esta línea, Jessica Brillhart, principal directora y realizadora para RV en Google, advierte que lo verdaderamente importante en cuanto al punto de vista, y en concreto en producciones interactivas, es dotar al espectador de una identidad, y lo conecta al concepto de presencia y de energía. Este último relacionado con la edición, cuando aborda los recursos tradicionales del lenguaje cinematográfico y su aplicación a la creación audiovisual para RV, usando como ejemplo el contacto visual que podríamos tener en una película de realidad virtual con uno de los actores, identificándolo como una posible analogía al close-up tradicional. Según apunta Bucher, en la entrevista a Jessica Brillhart que recoge en su libro Storytelling For Virtual Reality. Methods and Principles for Crafting Immersive Narratives: “Energy, or the emotional journey of the audience through the experience, and perception, how the viewer is experiencing the world, should drive the technical decision making in VR storytelling” (Brillhart, citada en Bucher, 2017, p. 16). Podríamos apuntar a una pérdida de la escala de planos, aunque siguen existiendo en el contexto de la RV, ya que como apunta Brillhart, aunque no se trate de una imagen encajada, la energía que desprende el apuntar la mirada a un determinado lugar de la ficción virtual puede asociarse a un tipo de plano concreto. 

 

 

1.2.2 El montaje y la edición en las producciones de realidad virtual 

 

Los procedimientos y el software actuales permiten la edición del registro de imagen para realidad virtual, posibilitando guiar la mirada del espectador a través de las direcciones y movimientos de la cámara, a modo de paneos laterales o perpendiculares, manteniendo la posición de esta. Además, se puede construir una alternancia de planos a través de fundidos, que suelen mantener más el efecto inmersivo, pero también por corte. No obstante, estos procedimientos quedan lejos de estar definidos actualmente:

 

En términos de la enunciación, las experiencias de RV no terminan de configurar un discurso como lo conocíamos en el lenguaje cinematográfico, que implicaba una cierta operatoria de contigüidad sintagmática que incluía la selección de planos o montaje; en cambio, sí hay una cierta configuración espacio temporal de sentido sobre la cual la selección y combinación de planos (o más bien, las formas que adquiera un extenso plano secuencia) se definirán cada vez (Zelcer, 2017, p. 338). 

 

Además, en cuanto a la cuestión de la edición por corte, Zelcer añade que este método nos extrae de la sensación de estar inmersos en el espacio ficcional, usándolo como elemento diferenciador entre filme de realidad virtual y experiencia, pues en la construcción de experiencias es preciso mantener la inmersión del espectador. Brillhart, en relación a la edición advierte que el montaje por corte directo no funciona igual en el medio convencional que en realidad virtual, y lo conecta al concepto de energía: 

 

You edit things for focus. You build in systems to translate feeling and vibe and energy to someone who’s not a part of that world. What’s interesting is that energy is very palpable in VR. You can basically have a person in a space and can make them feel very awkward very fast. The same kind of quick cuts and the disorientation doesn’t really work the same as it does in conventional cinema. Again, it’s that whole unpacking idea—where energy means something different in VR. Energy means the way that people relate to you. Energy is the chaos of the space (Brillhart, citada en Bucher, 2017, p. 14).

 

El montaje para contar historias en realidad virtual es por tanto también una pieza fundamental, y las decisiones respecto a este han de supeditarse a los sistemas de interacción y al modelo de estructura narrativa. No se puede establecer en el momento actual un estándar definido sobre la edición audiovisual para formatos interactivos de realidad virtual, es necesario continuar con la experimentación para observar a través de pruebas de concepto los diferentes sistemas que se pueden obtener, con el fin de traducir el sentimiento y la energía de la intencionalidad del autor y su relato a alguien que no forma parte de ese universo diegético. Lo que sí es constante, es que la continuidad en sus múltiples formas, continuidad del punto de vista, de movimiento, de sonido, de iluminación, es un elemento clave para formular un discurso audiovisual inmersivo con realidad virtual.

 

 

1.3  Cine volumétrico 

 

Las producciones audiovisuales para realidad virtual, según se ha mencionado anteriormente, comenzaron a desarrollarse a partir de gráficos 3D, imagen sintética que aproximaba el medio al videojuego. Más tarde, con el desarrollo de software para stiching, técnica consistente en ‘coser’ las imágenes registradas por un conjunto variable de cámaras situadas en una estructura esférica, aparece el registro de imagen 360 grados, fotográficas y en movimiento. A través de los motores de videojuegos UDK y Unity, se posibilitó la fusión de ambos métodos, colocando elementos virtuales sobre el registro de la imagen 360. Actualmente, con el desarrollo del software Depthkit, y utilizando un sensor Kinect y una cámara DSLR sincronizados, se obtiene un registro volumétrico de la toma, que puede posteriormente componerse con los elementos virtuales y el video 360, dando lugar a un nuevo sistema de producción audiovisual para RV. Este método es el utilizado en el cortometraje virtual Queerskins: a Love Story (Szilak y Tsiboulsk, 2018), una de las primeras experiencias hápticas de realidad virtual, ganadora del premio Peabody Award 2019 en la categoría de transmedia, además de estar seleccionada en la sección oficial del Tribeca Film Festival 2018, del Siggraph Village 2018 o del LA Film Festival entre otros. 

 

La creación de películas volumétricas es un movimiento en expansión entorno a la creación de contenido audiovisual inmersivo, caracterizado por experiencias interactivas creadas con imágenes escaneadas predominantemente en 3D, a través de sensores de movimiento como Kinect 2 o Azure. Las técnicas como el video volumétrico y la fotogrametría se utilizan junto con los motores de videojuegos para permitir la ubicuidad del espectador en entornos realistas reconstruidos, a través del registro de imagen real en formato video volumétrico, combinado con elementos sintéticos 3D, donde la interacción interfiere en el transcurso de los acontecimientos. Un híbrido entre videojuegos y cine, la realización de películas volumétricas se inspira en disciplinas creativas relacionadas, como el documental, el teatro inmersivo, la realidad virtual cinematográfica 360, o las instalaciones interactivas, generando un nuevo sistema de expresión audiovisual. 



Desde la perspectiva técnica, la imagen final es una composición de tres capas:

 

·       Registro en video 360 de los entornos exteriores.

·       Reconstrucción 3D de los sets y elementos del espacio de la acción.

·       Registro en video volumétrico con cámaras 4K, sensores Kinect y el software Depthkit para la grabación de la interpretación de los actores en sets de grabación con fondo Chroma.

 

 

2. Metodología

 

La metodología de este trabajo parte de una primera revisión bibliográfica, para establecer algunas consideraciones previas a la aproximación del cine volumétrico para realidad virtual. Una vez completada esta primera fase, y con el objetivo de profundizar en las cuestiones relativas a los sistemas de producción de cine volumétrico para realidad virtual, hemos desarrollado una herramienta de análisis que aplicaremos para el estudio del cortometraje virtual Queerskins: a Love Story (Szilak y Tsiboulsk, 2018).

 

Este modelo se compone principalmente de tres bloques contenedores de las variables que consideramos relevantes para este tipo de producción audiovisual. El primero es el relativo al concepto de presencia, en el que evaluaremos si la presencia de la obra objeto de estudio puede considerarse como presencia social, presencia ambiental o presencia personal, según la clasificación que establece Heeter (1992, pp. 263-264). En este mismo bloque, se evaluarán también las reglas de interacción, si existe o no navegación, así como el tipo de movimientos dentro del entorno virtual, según consideran Slater y Wilbur en relación a una consecución de presencia efectiva (1997). En el segundo abordaremos las cuestiones relativas a la realización audiovisual, desde aquellos aspectos relacionados con la cámara, punto de vista, movimientos, dirección de la atención, producción de sonido, iluminación, montaje y edición, creación de identidad en el usuario, etc. En el tercer bloque abordaremos las cuestiones relativas a su estructura narrativa. 

 

 

3. Resultados del análisis del filme volumétrico de realidad virtual Queerskins: a Love Story

 

Nos encontramos ante una obra de marcado carácter activista, en el ámbito de la justicia social, la tolerancia y el respecto a la diversidad sexual. Es una de las primeras películas de realidad virtual que coloca a la audiencia en la posición de experimentar el mundo interior íntimo de otra persona, perteneciente a la comunidad LGTBIQ. Una experiencia de realidad virtual cinematográfica que tiene como objetivo poner al espectador en el lugar de un individuo homosexual, en la realidad material que experimenta todos los días, como un medio para cambiar el modo de pensar de los usuarios, potenciando, a través de la reflexión, la aceptación y el apoyo a otros individuos, tanto dentro como fuera de su comunidad.

 

El sistema a través del cual se genera el discurso de esta obra parte de la instalación como formato artístico. Accedemos a la obra a través de habitar un espacio reconstruido, el hogar de la infancia del personaje principal, donde accedemos a una silla para poder visualizar la obra a través de un visor de realidad virtual HMD (head mounted display). Es una obra interactiva e inmersiva, en la que el público es animado a explorar este primer lugar físico (Figuras 1 y 2), antes o después de acceder al contenido RV. Una vez nos colocamos las gafas RV, estamos sentados en el asiento de atrás de un Cadillac Sedan Deville 1986, con unos padres como conductor y copiloto que han perdido a su hijo a causa del SIDA. Una madre extremadamente católica y su marido, que viven en una zona remota de Missouri. A través del trayecto por un camino rural, tenemos la posibilidad de escuchar el relato de unos padres en su duelo, así como de interactuar con los objetos del personaje principal, artefactos de una vida que ocupamos como visitantes en esta experiencia. Nos vestimos de la piel del otro al entrar en la diégesis de Queerskins: a Love Story. El discurso narrativo no se centra en ofrecernos una historia, si no en que nosotros, como espectadores, confeccionemos un retrato y conozcamos al hombre que ha muerto y que suplantamos por unos instantes. Mientras recorres sus recuerdos a través de las fotografías y el diario personal de Sebastián, y atiendes a la conversación de sus padres, comienzas a conocerlo a él y a su vida, ¿Cómo elegirás reconstruirlo? ¿Era una desgracia como dice su padre o era un buen hombre como su madre quiere creer? En palabras de los autores:

 

You can expand your conception of who is worthy of love and forgiveness and respect. This work allows YOU to create the main character. Who was he, what was his life? Was he worthy? Maybe you will hate that he is religious or maybe you will hate that he has sex with men, wherever you come from, you will construct him a different way (Szilak y Tsiboulsk, 2018).

 

Desde esta perspectiva, la obra se construye con un claro discurso prosocial, aunque desde una mirada lírica. Se trata de la experimentación con la construcción de experiencias virtuales interactivas, entendidas como “máquinas de empatía”, según identifica el cineasta Chris Milk: “La realidad virtual conecta a los humanos con otros humanos de una manera profunda que nunca antes se había visto en ninguna otra forma o medio, y puede cambiar la percepción de las personas entre sí” (2015).

 



Figuras 1 y 2. Szilak y Tsiboulsk. (2018). Instalación del cortometraje virtual Queerskins: a Love Story. Cloudred Lab / Fancy Rainbow Productions. Fuente: http://vr.queerskins.com/installations

 

3.1 Consecución del efecto presencia

 

En la obra objeto de estudio, la presencia se alcanza desde la estrategia arquetípica de colocar al espectador en el lugar de la cámara, y al mismo tiempo ofrecerle dos niveles de acceso a la información. En primer lugar, la conversación que atendemos sentados en el asiento trasero del coche, desde donde vemos las reacciones de los actores que personifican a los padres del personaje que ocupamos, y por otro lado la interacción que se nos ofrece al poder coger los objetos personales que están situados en una caja a nuestro lado, según se observa en las figuras 3 y 4. A través de la combinación de ambos, la diégesis adquiere una dirección y energía propios.

 



Figuras 3 y 4. Szilak y Tsiboulsk. (2018). Fotogramas del cortometraje virtual Queerskins: a Love Story. Cloudred Lab / Fancy Rainbow Productions. Fuente: https://www.tribecafilm.com/filmguide/queerskins-a-love-story-2018

 

 

De los tres tipos de presencia que apunta Heeter (1992, pp. 263-264), estaríamos ante una obra que usa la estrategia de presencia ambiental, ya que el entorno ofrece interacción a través de los objetos que se encuentran en él (Figuras 5 y 6). Según apunta este autor, si el entorno sabe de la presencia del espectador, puede contribuir a que este crea que se encuentra en ese espacio, conectando con el concepto de suspensión de la incredulidad. Este tipo de presencia se combina con la presencia personal, ya que como espectadores reconocemos nuestra ubicación y la concebimos como experiencial, pues el mundo virtual de la obra, el sonido y la construcción por capas de la imagen, responde como el mundo real a los movimientos de nuestro punto de vista.

 



Figuras 5 y 6. Szilak y Tsiboulsk. (2018). Fotogramas del cortometraje virtual Queerskins: a Love Story. Cloudred Lab / Fancy Rainbow Productions. Fuente: https://cloudred.com/lab/queerskins-a-love-story/

 

 

Por último, se confirman en esta obra las tres reglas de Slater y Wilbur (1997), necesarias para conseguir la presencia del espectador en el contexto de la diégesis virtual. Por un lado, las reglas de interacción son claras, la navegación visual y en el espacio es simple, pues solo implica el movimiento y la dirección de la mirada, lo que potencia la estrategia de posicionar al espectador sentado en el asiento trasero de un coche, posible analogía a la montaña rusa virtual, y con unos movimientos sutiles, sin errores en la imagen cuando se cambia de perspectiva.

 

3.2 Realización audiovisual volumétrica

 

Brillhart habla de la necesidad de crear la identidad del usuario, y en este sentido esta obra es un claro ejemplo de su efectividad. La cámara se desplaza al mismo tiempo que la acción base de la escena. Estamos sentados dentro de un coche, por lo que la ‘cámara-espectador’ sigue la trayectoria justificada por el contexto. La atención la dirige el usuario, pero la navegación alrededor del espacio virtual no es posible, entre otras cuestiones porque el registro volumétrico de los padres nos obliga a elegir un punto de vista concreto, y no nos permite movernos alrededor de la toma captada, pues su volumetría no completa los 360 grados. Esta cuestión no es relevante, pues la obra en sí no requiere que el usuario explore más allá del lugar donde se encuentra sentado. El rodaje se llevó a cabo en estudio, con uso de Chroma para la captación de la imagen en video volumétrico, según se observa en las figuras 7 y 8.

 



Figuras 7 y 8. Szilak y Tsiboulsk. (2018). Imágenes del rodaje en estudio del cortometraje virtual Queerskins: a Love Story. Cloudred Lab / Fancy Rainbow Productions. Fuente: https://www.imdb.com/title/tt8205132/mediaviewer/rm131680512

 

 

La producción del sonido binaural, ejerce de sutil sistema de interacción, pues nuestra visión se dirige según el lugar de donde proviene el registro de audio del acting de los personajes, concentrándonos en el padre o la madre según intervengan. La iluminación está rigurosamente compuesta para fusionar las tres capas de registro que posee la obra. A este respecto, es importante resaltar el procedimiento de ejecución, que parte del registro de video 360 del trayecto que efectúa el vehículo, sobre el cual se coloca la capa del interior del coche recreado en 3D por computador (Figuras 9 y 10), y donde implementamos la capa de los padres conduciendo, registrados con técnica volumétrica, y la capa interactiva de los objetos depositados al lado del espectador, también generados por gráficos tridimensionales, según se observa en la figura 11, todo compuesto en el motor de videojuegos Unity, a través del cual se implementa la interactividad. 

 



Figuras 9 y 10. Szilak y Tsiboulsk. (2018). Reconstrucción 3D del interior del coche del cortometraje virtual Queerskins: a Love Story. Cloudred Lab / Fancy Rainbow Productions. Fuente: https://www.kickstarter.com/projects/janthesvg/queerskins-a-love-storya-cinematic-vr-experience?lang=es

 

 

En relación con el montaje, no precisa de una edición posterior por corte directo, ni por fundido. La obra se construye en un plano secuencia virtual, donde el paso del tiempo y la atmósfera son reforzados por el cambio del día a la noche en el registro de video 360 del exterior del coche. La combinación de todos estos recursos y estrategias confieren a la obra un carácter orgánico, que es capaz de transportar a la audiencia dentro de la ficción propuesta.

 



Figura 11. Szilak y Tsiboulsk. (2018). Composición de imagen por capas del cortometraje virtual Queerskins: a Love Story. Cloudred Lab / Fancy Rainbow Productions. Fuente: https://www.kickstarter.com/projects/janthesvg/queerskins-a-love-storya-cinematic-vr-experience?lang=es

 

 

3.3 Estructura narrativa 

 

La estructura narrativa consta de un solo acto. Pero si atendemos a su naturaleza transmedia, partiendo de que el germen de esta producción es la novela Queerskins: a novel (Szilak y Tsiboulski, 2011), una experiencia online interactiva, este cortometraje virtual es el primer episodio de una serie de piezas audiovisuales para RV. Actualmente y según se muestra en su página web (http://www.queerskins.com/) están trabajando en el desarrollo del segundo episodio. Por lo tanto, quizá es demasiado pronto para poder analizar su estructura. Lo que sí queda claro es que se aleja del planteamiento aristotélico, para construir una obra compuesta por diferentes piezas, que se pueden consumir de manera independiente.

 

 

4. Discusión y conclusiones

 

La evolución del storytelling contemporáneo pasa por la experimentación y producción de obras capaces de diseñar nuevos sistemas diegéticos audiovisuales. La aplicación de las metodologías y procedimientos de la dirección y realización audiovisual convencional a las nuevas técnicas está en un estado primigenio. Lo que sí se puede confirmar, es que las producciones audiovisuales de ficción para RV beben de sus antecesores, no solamente del medio cinematográfico, sino también de las artes escénicas, las artes plásticas y el videojuego, para configurar un conglomerado de recursos que amplifica el poder de las imágenes, a efectos de inmersión de la audiencia en el relato fílmico.

 

A pesar de que la obra utiliza la estrategia de posicionar la cámara según el arquetipo de la montaña rusa, lo que según diversos autores implica la pérdida de inmersión por parte del usuario, esta obra propone un punto de vista concreto en el que sí que implica la dirección de la mirada del espectador por parte del realizador, lo que supone la aplicación del eje de acción, por lo que podemos hablar de cierto uso del plano subjetivo en el contexto de la RV. Esta direccionalidad de la mirada viene marcada por la toma volumétrica, partiendo de que no se trata de un registro de video tridimensional completo de la acción, requiere de un eje, de manera análoga a la práctica cinematográfica convencional. En relación a la planificación y el salto proporcional, no hay una implicación estricta en esta obra, pues los límites de la pantalla se diluyen.

 

Además, esta obra de ficción audiovisual de RV combina de forma efectiva el factor emocional con la percepción del usuario del mundo que experimenta, generando un modelo de dirección y realización audiovisual orgánico sin edición por corte, con un montaje interno marcado por la actuación de los actores, en el que el usuario también participa a partir de las opciones de interacción que posee, un sistema interactivo sencillo pero certero para sumergir al espectador en el discurso narrativo. Se trata pues de una experiencia fílmica de RV.

 

La gramática del lenguaje de la RV está en desarrollo, pero solo se constituirá como un medio estandarizado a través de la experimentación y el aumento de las historias contadas en su espacio. A este fin contribuye de una manera directa la obra objeto de estudio de este trabajo. Queerskins: a Love Story (2018) es uno de los exponentes contemporáneos de la cinematografía volumétrica de realidad virtual. Queda patente que los principios de la narrativa se expanden a través de la combinación de estrategias de diferentes disciplinas, siendo la interacción el elemento clave en la diferenciación y evolución de la creación de experiencias fílmicas virtuales.

 

 

 

5. Referencias bibliográficas

 

Bates, J. (1992). Virtual reality, art, and entertainment. Presence: Teleoperators & Virtual Environments, 1(1), 133-138.

Bordwell, D., Staiger, J., & Thompson, K. (1985). The classical Hollywood cinema: Film style & mode of production to 1960. Columbia University Press.

Bucher, J. (2017). Storytelling for virtual reality: methods and principles for crafting immersive narratives. Routledge.

Cho, J., Lee, T. H., Ogden, J., Stewart, A., Tsai, T. Y., Chen, J., y Vituccio, R. (2016, July). Imago: presence and emotion in virtual reality. In ACM SIGGRAPH 2016 VR Village (p. 6). ACM.

Gaudreault, A., & Jost, F. (1995). El relato cinematográfico. Paidós.

Green, M. C., & Brock, T. C. (2000). The role of transportation in the persuasiveness of public narratives. Journal of personality and social psychology, 79(5), 701.

Heeter, C. (1992). Being there: The subjective experience of presence. Presence: Teleoperators & Virtual Environments, 1(2), 262-271.

Ijäs, N. (2016). Transitioning Between Worlds Editing and Pre-production in Cinematic Virtual Reality.

Kelly, Kevin (2016). “Hyper Vision” en Wired, abril (versión digital). Recuperado de: https://www. wired.com/2016/04/magic-leap-vr/. Fecha de consulta: 05/11/2019.

Martínez-Cano, F. J. (2018). Impresiones sobre Carne y Arena: práctica cinematográfica y realidad virtual. Miguel Hernández Communication Journal, (9), 161-190.

Mateer, J. (2017). Directing for Cinematic Virtual Reality: how the traditional film director’s craft applies to immersive environments and notions of presence. Journal of Media Practice, 18(1), 14-25.

Milk, C. (2015). How virtual reality can create the ultimate empathy machine. TED 2015. Recuperado de: https://www.ted.com/talks/chris_milk_how_virtual_reality_can_create_the_ultimate_empathy_machine . Fecha de consulta: 22/11/ 2019.

Nielsen, L. T., Møller, M. B., Hartmeyer, S. D., Ljung, T., Nilsson, N. C., Nordahl, R., & Serafin, S. (noviembre, 2016). Missing the point: an exploration of how to guide users' attention during cinematic virtual reality. In Proceedings of the 22nd ACM Conference on Virtual Reality Software and Technology (pp. 229-232). ACM.

Slater, M., & Wilbur, S. (1997). A framework for immersive virtual environments (FIVE): Speculations on the role of presence in virtual environments. Presence: Teleoperators & Virtual Environments, 6(6), 603-616.

Syrett, H., Calvi, L., & van Gisbergen, M. (2016, June). The oculus rift film experience: a case study on understanding films in a head mounted display. In International Conference on Intelligent Technologies for Interactive Entertainment (pp. 197-208). Springer, Cham.

Fox, K. (productor) y Szilak, I. (director). (2018). Queerskins: a Love Story [Cinta Cinematográfica de Realidad Virtual]. USA: Cloudred Lab / Fancy Rainbow Productions.

Tricart, C. (2017). Virtual reality filmmaking: Techniques & best practices for VR filmmakers. Taylor & Francis.

Zelcer, M. (2018). Pantalla, imágenes y cámara en la realidad virtual: una aproximación. Imagofagia, (18), 322-343.

 

  BIO

 

 

Francisco Julián Martínez Cano (1983) es Doctor en Bellas Artes y profesor de la

Universidad Miguel Hernández (UMH). Su trayectoria artística se centra desde 2006 en la mezcla de ciencia y arte para generar nuevos discursos visuales. Como investigador, estudia y analiza las tecnologías de realidad virtual y realidad aumentada y su hibridación con cine y videojuegos, para la creación de nuevos productos de entretenimiento audiovisuales, prestando atención a los fenómenos de transmediatización contemporáneos y los mass media.

Ha realizado exposiciones nacionales e internacionales, de las que destacan su participación en las exposiciones Condición de Posibilidad, Palacio de los Condes de Gabia de Granada (2005), IX Exposición Audiovisual UPV-BBVA, Bilbao (2006). La exposición Gabinete de Papeles, en el Museo de Arte Contemporáneo de Elche (2011), el proyecto Terrorismo de Masas (2014), Centro 14 de Alicante, y su participación en el Miami New Media Festival 2019 y en la Miami Art Week 2019 con la obra audiovisual ALC-SKG.

Es miembro del grupo de investigación OCAP, cuyos objetivos son el estudio de la imagen audiovisual y las funciones comunicativas de los medios emergentes. Ha sido profesor invitado en la Universidad de Beira Interior (Portugal), en la Universidad de Evora (Portugal), en el Plymouth College of Art, Plymouth (Reino Unido) y en la Universidad de las Californias Internacional, Tijuana (México).

 

 

 

 

Emilio Roselló Tormo es Doctor en Bellas Artes y profesor titular de la Universidad         Miguel Hernández (UMH). Estudió en la Universidad politécnica de Valencia, donde se doctora en Bellas Artes (1994) con una investigación sobre animación de la imagen virtual. Su trayectoria investigadora se desarrolla como actividad artística desde la década de los noventa a través de la conceptualización de la imagen, la representación y la comunicación. Desde la electrografía. la fotografía digital, y la imagen de síntesis, ha elaborado en la praxis diferentes discursos conceptuales y narrativos acerca de la imagen como pensamiento. En la última década se centra más en la fotografía conceptual; la fotografía reflexiona sobre sí misma y sobre el hecho fotográfico desde el lenguaje específico de la denominada era postfotográfica.

Desde 2001, hasta la actualidad es el IP del grupo de investigación OCAP, espacio-lugar para la observación multilateral que centra su interés en el estudio de la imagen   visual y audiovisual, y en la exploración de las funciones comunicativas que los nuevos medios emergentes aplican con versatilidad. Es miembro del colectivo internacional Contemporáneos en cuyo contexto desarrolla proyectos fotográficos independientes y series colectivas.

Fue investigador principal del proyecto Mapa de la memoria, financiado por la Fundación Víctimas del terrorismo, Diputación de Alicante Instituto Alicantino de Cultura Juan Gil-Albert, y Caja de ahorros del Mediterráneo CAM, Obra Social. Fue IP del Laboratorio de Ideas, Diseño e Innovación IDI Lab, financiado por el programa de investigación de Bancaja.