LA DIRECCIÓN Y
REALIZACIÓN AUDIOVISUAL DE REALIDAD VIRTUAL. ANÁLISIS DE QUEERSKINS: A LOVE
STORY, UNA APROXIMACIÓN AL CINE VOLUMÉTRICO
VIRTUAL REALITY FILMMAKING.
ANALYSIS OF QUEERSKINS: A LOVE STORY, AN APPROACH TO VOLUMETRIC CINEMA
Francisco-Julián Martínez-Cano
Universidad Miguel Hernández de Elche
Emilio Roselló Tormo
Universidad Miguel Hernández de Elche
http://www.doi.org/10.5281/zenodo.7654912
……………………….
Recibido: 15 11 2019
Aceptado: 20 03 2020
Publicado: 10 05 2020
….……………………
Cómo citar este artículo
Martínez-Cano, Francisco-Julián y Roselló Tormo, Emilio.
2020. La dirección y realización audiovisual de realidad
virtual. Análisis de Queerskins: a Love Story, una aproximación al cine volumétrico.
ASRI. Arte y Sociedad. Revista de Investigación en
Arte y Humanidades Digitales. (18), 118-133
Recuperado de https://revistaasri.com/article/view/4757
Resumen
En la
actualidad, la tecnología de realidad virtual ofrece a la industria audiovisual
nuevos modos de contar historias. Una de las técnicas que posibilita el
registro de imagen en movimiento y su implementación en entornos virtuales 3D
es la captura volumétrica, que plantea un acercamiento entre los métodos del
cine convencional y los de los discursos audiovisuales de ficción para RV. En
este contexto, realizamos una revisión bibliográfica previa, para abordar el
estudio de la aplicabilidad de las técnicas de producción tradicionales a las
producciones de realidad virtual. Posteriormente diseñamos un modelo de
análisis para este tipo de obras, a partir de los conceptos de Heeter (1992), Slater y Wilbur
(1997). Este se centra en el efecto presencia como base para la inmersión en el
universo diegético de la RV. Los resultados expuestos, se obtienen tras
analizar Queerskins: a love
story (Szilak y Tsiboulsk, 2018), uno de los primeros cortometrajes de
realidad virtual con realización audiovisual volumétrica.
Palabras clave: Cine
volumétrico, realidad virtual, interactividad, dirección audiovisual,
cinematografía RV.
Abstract
Currently,
virtual reality technology offers to the audiovisual industry new ways of
telling stories. One of the techniques that enables video image recording and
its implementation in 3D virtual environments is volumetric capture, which
raises an approach between conventional cinema methods and those of fictional
audiovisual discourses for VR. In this context, we carry out a previous
bibliographical review, to address the study of the applicability of
traditional production techniques to virtual reality productions. Subsequently,
we designed an analysis model for this type of work, based on the concepts of Heeter (1992), Slater and Wilbur (1997), which is based on the
effect of presence as a basis for the immersion of the spectator in the diegetic
universe of the VR artworks. The exposed results are obtained after analyzing Queerskins: a love story (Szilak
and Tsiboulsk, 2018), one of the first virtual
reality short films with volumetric filmmaking.
Keywords: Volumetric
cinema, virtual reality, interactivity, filmmaking, VR cinematography.
1. Introducción
La realidad virtual nace a mediados de
siglo XX, a partir del trabajo de investigación llevado a cabo por Ivan Sutherland (1968), entre otros. En la década de los
noventa, la industria del videojuego comenzó a explorar sus posibilidades, pero
no ha sido hasta principios del siglo XXI cuando ha comenzado a constituirse
como tecnología de consumo, en las que las industrias audiovisuales invierten
para la construcción de nuevos productos culturales. Según John Gaeta, director
creativo de LucasFilm’s ILMxLAB:
“El cine es una forma maestra del arte de contar historias, pero contenido en
la cuarta pared”. Actualmente esta frontera del arco de proscenio se puede
salvar, “convirtiendo al cine en un portal hacia nuevas plataformas inmersivas
de expresión” (Gaeta, citado en Bucher, 2017, p. 2).
Las narrativas contemporáneas exploran las posibilidades aportadas por estos
avances tecnológicos. Los discursos audiovisuales se expanden en un oxímoron de
opciones donde la pantalla rectangular desaparece para dar paso a nuevas
propuestas, que se acercan al concepto de experiencia, potenciando la empatía
de la audiencia y su inmersión en el relato. La realidad virtual aplicada a la
práctica cinematográfica no solo ofrece un nuevo modo de consumir las
producciones audiovisuales, sino que abre los límites de la dirección y
realización audiovisual a nuevos recursos y modos de construir la imagen en
movimiento.
Los modos de producción actuales para
estas plataformas pasan por un primer estadio de mixtura entre el cine y los
videojuegos, pues las herramientas de edición final para sus versiones
interactivas son motores de videojuegos tales como UDK o Unity. Esta primera
fase de fusión entre el medio videolúdico y el medio
cinematográfico, aporta la interacción del usuario como un nuevo elemento a tener en cuenta en la construcción de estructuras
narrativas. No obstante, la creación de la imagen virtual se inició a través
del modelado 3D y del uso de gráfica por computador, reconstrucciones
hiperrealistas o no de los entornos donde transcurre la acción en la que se
introduce al espectador. En las narrativas virtuales, el usuario es introducido
en un entorno ficcional, apartado de la realidad física
circundante. La ubicuidad de estar en
dos lugares en un mismo momento es recurrente. Sin duda, estos dispositivos
posibilitan una evolución de la narrativa, según indica Shari
Frilot, comisaria de la sección New Frontier del festival de cine Sundance:
VR as a gadget
that delivers an experience is compelling, but it can also change our
storytelling culture profoundly. Not only how we tell stories but why. The role
of storytelling as a communication platform (Tricart,
2017).
Los sistemas de sensores de movimiento
para la captura y posterior animación de los modelos 3D ha sido una técnica
desarrollada y aplicada principalmente para animación digital, pero algunos
dispositivos fueron perfeccionados y empleados en la industria de los
videojuegos, como es el caso del Kinect para la videoconsola XBOX, un sensor de
movimiento capaz de realizar capturas volumétricas a través de un sensor de
profundidad y un sensor de infrarrojos. Estos dispositivos dan lugar a la
captura de video volumétrico, un nuevo medio de registro de la imagen en
movimiento, capaz de generar volúmenes tridimensionales que se pueden
implementar tanto en entornos de realidad virtual y realidad aumentada, en este
último caso generando lo que podríamos considerar como hologramas. En este
texto analizamos una de las últimas producciones audiovisuales para RV,
profundizando en aquellas cuestiones que marcan un nuevo camino en las
estrategias y procedimientos relativos a la dirección y realización audiovisual
para los medios inmersivos.
1.1 La dirección y
realización audiovisual de realidad virtual
Los medios emergentes de la imagen en movimiento
convergen en la renovación de las técnicas y estrategias de la dirección
audiovisual, partiendo de las características intrínsecas de estos nuevos productos
culturales. La realidad virtual y la realidad aumentada han sido dos áreas
desarrolladas durante los últimos sesenta años, siendo en la actualidad cuando
comienzan a presentarse como tecnologías de consumo y entretenimiento. Esto da
lugar a la aparición de nuevas terminologías y conceptos todavía en desarrollo,
tales como VR film, VR filmmaking, cinematic virtual reality o volumetric filmmaking, que podríamos traducir en película
de realidad virtual, dirección cinematográfica virtual, realidad virtual
cinemática y dirección cinematográfica volumétrica o producción audiovisual
volumétrica. La gramática de la realización audiovisual se ha desarrollado a lo
largo del siglo XX, dando como resultado un rico abanico de recursos y técnicas
para crear historias convincentes. En esta misma línea, se desarrollan
actualmente los
mecanismos necesarios para crear nuevos discursos audiovisuales que enganchen a
la audiencia en RV. Es necesario profundizar en la investigación acerca de
estos medios, pues se encuentran en un estadio primigenio de su evolución, en
su uso y aplicación para la construcción del relato cinematográfico virtual.
[...] it should be no surprise that cinematic VR—the
combining of film techniques and principles with immersive media—creates an even
greater sense of an unmediated experience and more immediate meanings for the
viewer (Bucher, 2017, p. 6).
La investigación sobre la aplicación de las técnicas
de la dirección cinematográfica tradicional al desarrollo de producciones para
realidad virtual se ha centrado en diferentes aspectos clave. Bates (1991) se
centra en el estudio de la suspensión de incredulidad, y la necesidad de unas
estructuras narrativas consistentes para la creación de este efecto, a partir
de las mismas gramáticas del lenguaje y la producción audiovisual tradicionales
como la posición de cámaras, la iluminación y el sonido, la continuidad y el
montaje. El trabajo de Cho et al (2016) explora diferentes aproximaciones de
paralelismo técnico, profundizando en el engagement
de la audiencia a través del punto de vista del usuario, y Syrett,
Calvi y Van Gisbergen (2016) elaboran un estudio sobre
la comprensión narrativa y cómo se efectúa en el medio virtual, atendiendo a la
dificultad de dirigir la mirada del espectador, para guiarlo a lo largo de la
experiencia narrativa, evitando distracciones y pérdidas de información de la
diégesis, cuestión que también aborda Nielsen et al. (2016), aportando algunas
estrategias para guiar la atención del usuario durante el transcurso de la narración
en el entorno virtual.
La teoría de transportación (Green y Brock, 2000, p. 701), es al medio literario lo que para el
medio cinematográfico se concibe como suspensión de la incredulidad, y a
efectos de la realidad virtual se denomina presencia (Mateer,
2017). Esta cuestión es responsabilidad del director, y de ella depende una efectiva
conexión de la audiencia con el discurso narrativo, un certero engagement que dé lugar a la inmersión del espectador en la
obra. El concepto de presencia constituye “un estado de conciencia, el sentido
(psicológico) de estar en el entorno virtual” (Slater
y Wilbur, 1997, p. 4), y es necesaria para procurar la inmersión del usuario en
el relato, definida como la cualidad de las pantallas para generar y ofrecer al
espectador una “ilusión inclusiva, extensa, circundante y vívida de la realidad”
(Slater y Wilbur, 1997, p. 606, citado en
Martínez-Cano, 2018, p. 164). La continuidad, otro de los aspectos que en un
principio se consideraba diferenciador entre cine y realidad virtual, debido a
que las primeras producciones de video 360 carecían de edición, conformándose
en un plano-secuencia infinito, resulta ser un factor común, tanto si pensamos
en montaje interno o externo, ya que la posproducción y la continuidad en las
obras audiovisuales para RV actuales emplean estas técnicas y procedimientos (Ijäs, 2016). No obstante, la continuidad se mantiene de
manera diferente en ambos medios, ya que la interactividad y las estructuras
narrativas múltiples y ramificadas del medio virtual resultan en la
construcción de discursos audiovisuales más complejos.
1.2 Adaptación de las técnicas
tradicionales de la realización audiovisual a la RV
La
investigación sobre el puente entre realidad virtual y práctica cinematográfica
se encuentra en un estadio inicial, por lo que es necesario profundizar en las conexiones
entre los métodos de producción de la industria audiovisual y los de producción
para realidad virtual, tratando de identificar aquellos procedimientos que
pueden ser adaptados para crear narrativas audiovisuales inmersivas, al mismo
tiempo de construir técnicas específicas para este medio.
La
preproducción, y todas aquellas cuestiones relativas a la preparación resultan
comunes en ambos, diferenciados únicamente por la existencia de interacción o
no en la obra audiovisual para RV, ya que, en este caso, la estructura
narrativa abandona la linealidad y se conforma en una ramificación de
acontecimientos conectados entre sí por las diferentes opciones que ofrece la
interacción, y que son presenciados o no dependiendo de su activación por parte
del usuario. En este caso, el desarrollo del guion incurre en una arquitectura
narrativa más compleja. Además de la interacción, otra diferencia principal de
ambos medios radica en la dirección de la mirada del espectador. En el medio
pantalla, existen multitud de estrategias para controlar la atención de la
audiencia en el espacio rectangular de la imagen en movimiento. Sin embargo, en
los entornos virtuales y aumentados, esta cuestión resulta en un desafío, al no
existir los límites finitos de la “ventana diegética”, y al tener el usuario el
control sobre dónde dirige su mirada. Mateer,
partiendo de las técnicas y recursos que identifica Katz (1991), para dirigir
la mirada del espectador, establece que estas pueden ser aplicadas también al
medio virtual:
Katz
(1991) discusses various compositional tools to achieve this, all of which
include visual differentiation of elements in some way. (These techniques are
also discussed by many others and build on those developed by classical
painters). Although some of these rely strictly on the limits imposed by a
finite ‘window’ into the environment (i.e., the film frame), several are
applicable in a CVR context and can be used to promote the viewer’s direction
of attention (Mateer, 2017, p. 13).
Aunque
en este estudio, Mateer se centra únicamente en las
producciones para realidad virtual sin capacidad interactiva, obras de ficción
audiovisual rodadas en formato 360 con una estructura lineal en cuanto al
desarrollo diegético, los recursos gramaticales de la composición y dirección
de la mirada en el cine que pueden ser aplicables a las experiencias
cinemáticas de RV también lo son cuando la producción añade la interacción del
usuario, gamificando el desarrollo narrativo.
Anteriormente diferenciamos entre producciones interactivas y no interactivas
para RV. En el presente trabajo nos centramos en las experiencias
cinematográficas de realidad virtual interactivas que, según Maxwell Planck,
fundador del Oculus Story
Studio:
I
believe that cinematic VR and interactive VR are two different media. The
visitor feels dramatically different when they can only look around vs. when
they can move around in a space. Both have amazing potential for art, but I
personally find interactive VR to give the visitor a stronger feeling of presence
which I find most compelling in VR (Tricart, 2017).
Contar
historias en RV versa sobre dejar al espectador descubrir la trama, más allá de
contarla desde la perspectiva de la narrativa tradicional y la focalización
(Genette, citado por Jost y Gaudreault,
1995), dando lugar a nuevos modos de este concepto. La realización audiovisual
siempre ha aprovechado los límites de la pantalla para esconder la parafernalia
técnica detrás de las escenas. Además, el uso de la regla de los tres tercios,
la teoría de ejes o el salto proporcional han servido para mantener a la
audiencia sumergida en la historia. Tanto en el cine convencional como en las
producciones audiovisuales para realidad virtual, mantener a la audiencia lejos
de los aspectos técnicos es fundamental para asegurar una experiencia inmersiva
(Bordwell, Staiger y
Thompson, 1985).
De
las cuestiones relativas a la dirección y realización, revisamos a continuación
el uso de la cámara y el montaje, dos de las cuestiones con mayor peso en
la producción audiovisual, para su aplicación en la construcción de ficciones
para realidad virtual.
1.2.1 La cámara en las
producciones de realidad virtual
En
el cine, la posición de la cámara, sus encuadres y movimientos son elementos
clave de la enunciación cinematográfica, instancias que constituyen las
convenciones del lenguaje audiovisual tal y como lo conocemos. En la RV los
encuadres se desvanecen,
y los movimientos de cámara atienden a que el usuario tiene la posibilidad de
explorar los espacios virtuales, o por el contrario el espectador permanece
estático en el entorno virtual a lo largo de los acontecimientos presentados,
durante los cuales puede desplazar su mirada y explorar visualmente el espacio
diegético. También puede darse el caso de que este movimiento atienda a una
situación concreta. Por ejemplo, la experiencia arquetípica de la montaña rusa,
pero el usuario permanece inmóvil en su misma posición, siendo la cámara la que
efectúa el movimiento, lo que acentúa la enunciación y reduce la inmersión.
Según apunta Mariano Zelcer: “Las imágenes de
realidad virtual son entonces una secuencia puesta en disponibilidad sobre la
cual la visión queda determinada, por contraposición al cine, por el usuario” (Zelcer, 2017, p. 337).
Por
tanto, en la dirección para realidad virtual y aumentada se trata únicamente de
posicionar la cámara, y en caso de que esta vaya a moverse, se debe encontrar
el modo preciso para justificar dicho movimiento, ya que generalmente el
espectador ocupa la visión de la cámara como de un plano subjetivo. A este
respecto, Márquez apunta: “Si por algo se caracterizan los sistemas de RV es
por su visión en primera persona, con el efecto cinematográfico de la cámara
subjetiva en movimiento” (2015, p. 206, citado en Zelcer,
2017, p. 335). Kelly (2016) por el contrario, sostiene que no se trata de un punto de vista
subjetivo, sino que lo conceptualiza como “you person view”. Sin embargo,
Mariano Zelcer, establece que, si no hay
intencionalidad de la mirada, no se puede señalar la posición de cámara en
realidad virtual como un plano subjetivo:
[...]
no hay en la realidad virtual una “cámara subjetiva” como se observa en el
cine, puesto que no hay definición de una direccionalidad de la mirada sobre la
imagen, sino sólo una posición. Esta particularidad de las imágenes de RV, más
las ya señaladas referentes al cambio que se produce en ellas con el movimiento
del sujeto espectador, hacen que la cámara subjetiva no sea en estas imágenes
un efecto de enunciación marcada sino, por el contrario, uno de los principios
constitutivos de su transparencia: las cosas simplemente están allí, los
sucesos transcurren y nosotros los observamos (Zelcer,
2017, p. 336).
Siguiendo
esta línea, Jessica Brillhart, principal directora y
realizadora para RV en Google, advierte que lo verdaderamente importante en
cuanto al punto de vista, y en concreto en producciones interactivas, es dotar
al espectador de una identidad, y lo conecta al concepto de presencia y de
energía. Este último relacionado con la edición, cuando aborda los recursos
tradicionales del lenguaje cinematográfico y su aplicación a la creación
audiovisual para RV, usando como ejemplo el contacto visual que podríamos tener
en una película de realidad virtual con uno de los actores, identificándolo
como una posible analogía al close-up tradicional.
Según apunta Bucher, en la entrevista a Jessica Brillhart que recoge en su libro Storytelling For Virtual Reality. Methods
and Principles for Crafting Immersive Narratives: “Energy, or the emotional journey of the
audience through the experience, and perception, how the viewer is experiencing
the world, should drive the technical decision making in VR storytelling” (Brillhart, citada en Bucher, 2017, p. 16). Podríamos
apuntar a una pérdida de la escala de planos, aunque siguen existiendo en el
contexto de la RV, ya que como apunta Brillhart,
aunque no se trate de una imagen encajada, la energía que desprende el apuntar
la mirada a un determinado lugar de la ficción virtual puede asociarse a un
tipo de plano concreto.
1.2.2 El montaje y la edición
en las producciones de realidad virtual
Los procedimientos y el software actuales
permiten la edición del registro de imagen para realidad virtual, posibilitando
guiar la mirada del espectador a través de las direcciones y movimientos de la
cámara, a modo de paneos laterales o perpendiculares,
manteniendo la posición de esta. Además, se puede construir una alternancia de
planos a través de fundidos, que suelen mantener más el efecto inmersivo, pero
también por corte. No obstante, estos procedimientos quedan lejos de estar
definidos actualmente:
En términos de la enunciación, las
experiencias de RV no terminan de configurar un discurso como lo conocíamos en
el lenguaje cinematográfico, que implicaba una cierta operatoria de contigüidad
sintagmática que incluía la selección de planos o montaje; en cambio, sí hay
una cierta configuración espacio temporal de sentido sobre la cual la selección
y combinación de planos (o más bien, las formas que adquiera un extenso plano
secuencia) se definirán cada vez (Zelcer, 2017, p.
338).
Además, en cuanto a la cuestión de la edición
por corte, Zelcer añade que este método nos extrae de
la sensación de estar inmersos en el espacio ficcional, usándolo como elemento
diferenciador entre filme de realidad virtual y experiencia, pues en la
construcción de experiencias es preciso mantener la inmersión del espectador. Brillhart, en relación a la
edición advierte que el montaje por corte directo no funciona igual en el medio
convencional que en realidad virtual, y lo conecta al concepto de
energía:
You edit things for focus. You build in systems to
translate feeling and vibe and energy to someone who’s not a part of that
world. What’s interesting is that energy is very palpable in VR. You can
basically have a person in a space and can make them feel very awkward very
fast. The same kind of quick cuts and the disorientation doesn’t really work
the same as it does in conventional cinema. Again, it’s that whole unpacking
idea—where energy means something different in VR. Energy means the way that
people relate to you. Energy is the chaos of the space (Brillhart,
citada en Bucher, 2017, p. 14).
El montaje para contar historias en realidad
virtual es por tanto también una pieza fundamental, y las decisiones respecto a
este han de supeditarse a los sistemas de interacción y al modelo de estructura
narrativa. No se puede establecer en el momento actual un estándar definido
sobre la edición audiovisual para formatos interactivos de realidad virtual, es
necesario continuar con la experimentación para observar a través de pruebas de
concepto los diferentes sistemas que se pueden obtener, con el fin de traducir
el sentimiento y la energía de la intencionalidad del autor y su relato a
alguien que no forma parte de ese universo diegético. Lo que sí es constante,
es que la continuidad en sus múltiples formas, continuidad del punto de vista,
de movimiento, de sonido, de iluminación, es un elemento clave para formular un
discurso audiovisual inmersivo con realidad virtual.
1.3
Cine volumétrico
Las producciones audiovisuales para realidad
virtual, según se ha mencionado anteriormente, comenzaron a desarrollarse a
partir de gráficos 3D, imagen sintética que aproximaba el medio al videojuego.
Más tarde, con el desarrollo de software para stiching,
técnica consistente en ‘coser’ las imágenes registradas por un conjunto
variable de cámaras situadas en una estructura esférica, aparece el registro de
imagen 360 grados, fotográficas y en movimiento. A través de los motores de
videojuegos UDK y Unity, se posibilitó la fusión de ambos métodos, colocando
elementos virtuales sobre el registro de la imagen 360. Actualmente, con el
desarrollo del software Depthkit, y utilizando un
sensor Kinect y una cámara DSLR sincronizados, se obtiene un registro
volumétrico de la toma, que puede posteriormente componerse con los elementos
virtuales y el video 360, dando lugar a un nuevo sistema de producción
audiovisual para RV. Este método es el utilizado en el cortometraje virtual Queerskins: a Love Story (Szilak y Tsiboulsk, 2018), una de
las primeras experiencias hápticas de realidad virtual, ganadora del premio Peabody Award 2019 en la
categoría de transmedia, además de estar seleccionada
en la sección oficial del Tribeca Film Festival 2018,
del Siggraph Village 2018 o
del LA Film Festival entre otros.
La creación de películas volumétricas es un
movimiento en expansión entorno a la creación de contenido audiovisual
inmersivo, caracterizado por experiencias interactivas creadas con imágenes
escaneadas predominantemente en 3D, a través de sensores de movimiento como
Kinect 2 o Azure. Las técnicas como el video volumétrico y la fotogrametría se
utilizan junto con los motores de videojuegos para permitir la ubicuidad del
espectador en entornos realistas reconstruidos, a través del registro de imagen
real en formato video volumétrico, combinado con elementos sintéticos 3D, donde
la interacción interfiere en el transcurso de los acontecimientos. Un híbrido
entre videojuegos y cine, la realización de películas volumétricas se inspira
en disciplinas creativas relacionadas, como el documental, el teatro inmersivo,
la realidad virtual cinematográfica 360, o las instalaciones interactivas,
generando un nuevo sistema de expresión audiovisual.
Desde la perspectiva técnica, la imagen final
es una composición de tres capas:
· Registro
en video 360 de los entornos exteriores.
· Reconstrucción
3D de los sets y elementos del espacio de la acción.
· Registro
en video volumétrico con cámaras 4K, sensores Kinect y el software Depthkit para la grabación de la interpretación de los
actores en sets de grabación con fondo Chroma.
2. Metodología
La metodología de este trabajo parte de una
primera revisión bibliográfica, para establecer algunas consideraciones previas
a la aproximación del cine volumétrico para realidad virtual. Una vez
completada esta primera fase, y con el objetivo de profundizar en las
cuestiones relativas a los sistemas de producción de cine volumétrico para
realidad virtual, hemos desarrollado una herramienta de análisis que
aplicaremos para el estudio del cortometraje virtual Queerskins:
a Love Story (Szilak
y Tsiboulsk, 2018).
Este modelo se compone principalmente de tres
bloques contenedores de las variables que consideramos relevantes para este
tipo de producción audiovisual. El primero es el relativo al concepto de
presencia, en el que evaluaremos si la presencia de la obra objeto de estudio
puede considerarse como presencia social, presencia ambiental o presencia
personal, según la clasificación que establece Heeter
(1992, pp. 263-264). En este mismo bloque, se evaluarán también las reglas de
interacción, si existe o no navegación, así como el tipo de movimientos dentro
del entorno virtual, según consideran Slater y Wilbur
en relación a una consecución de presencia efectiva
(1997). En el segundo abordaremos las cuestiones relativas a la realización
audiovisual, desde aquellos aspectos relacionados con la cámara, punto de
vista, movimientos, dirección de la atención, producción de sonido,
iluminación, montaje y edición, creación de identidad en el usuario, etc. En el
tercer bloque abordaremos las cuestiones relativas a su estructura
narrativa.
3. Resultados del análisis del filme
volumétrico de realidad virtual Queerskins:
a Love Story
Nos encontramos ante una obra de marcado
carácter activista, en el ámbito de la justicia social, la tolerancia y el
respecto a la diversidad sexual. Es una de las primeras películas de realidad
virtual que coloca a la audiencia en la posición de experimentar el mundo
interior íntimo de otra persona, perteneciente a la comunidad LGTBIQ. Una
experiencia de realidad virtual cinematográfica que tiene como objetivo poner
al espectador en el lugar de un individuo homosexual, en la realidad material
que experimenta todos los días, como un medio para cambiar el modo de pensar de
los usuarios, potenciando, a través de la reflexión, la aceptación y el apoyo a
otros individuos, tanto dentro como fuera de su comunidad.
El sistema a través del cual se genera el
discurso de esta obra parte de la instalación como formato artístico. Accedemos
a la obra a través de habitar un espacio reconstruido, el hogar de la infancia
del personaje principal, donde accedemos a una silla para poder visualizar la
obra a través de un visor de realidad virtual HMD (head mounted
display). Es una obra interactiva e inmersiva, en la
que el público es animado a explorar este primer lugar físico (Figuras 1 y 2),
antes o después de acceder al contenido RV. Una vez nos colocamos las gafas RV,
estamos sentados en el asiento de atrás de un Cadillac Sedan Deville 1986,
con unos padres como conductor y copiloto que han perdido a su hijo a causa del
SIDA. Una madre extremadamente católica y su marido, que viven en una zona
remota de Missouri. A través del trayecto por un camino rural, tenemos la
posibilidad de escuchar el relato de unos padres en su duelo, así como de
interactuar con los objetos del personaje principal, artefactos de una vida que
ocupamos como visitantes en esta experiencia. Nos vestimos de la piel del otro
al entrar en la diégesis de Queerskins: a
Love Story. El discurso narrativo no se centra en
ofrecernos una historia, si no en que nosotros, como espectadores,
confeccionemos un retrato y conozcamos al hombre que ha muerto y que
suplantamos por unos instantes. Mientras recorres sus recuerdos a través de las
fotografías y el diario personal de Sebastián, y atiendes a la conversación de
sus padres, comienzas a conocerlo a él y a su vida, ¿Cómo elegirás
reconstruirlo? ¿Era una desgracia como dice su padre o era un buen hombre como
su madre quiere creer? En palabras de los autores:
You can expand your conception of who is worthy of
love and forgiveness and respect. This work allows YOU to create the main
character. Who was he, what was his life? Was he worthy? Maybe you will hate
that he is religious or maybe you will hate that he has sex with men, wherever
you come from, you will construct him a different way (Szilak
y Tsiboulsk, 2018).
Desde esta perspectiva, la obra se construye
con un claro discurso prosocial, aunque desde una mirada lírica. Se trata de la
experimentación con la construcción de experiencias virtuales interactivas,
entendidas como “máquinas de empatía”, según identifica el cineasta Chris Milk: “La realidad virtual conecta a los humanos con otros
humanos de una manera profunda que nunca antes se
había visto en ninguna otra forma o medio, y puede cambiar la percepción de las
personas entre sí” (2015).
Figuras 1 y 2.
Szilak y Tsiboulsk. (2018).
Instalación del cortometraje virtual Queerskins:
a Love Story. Cloudred Lab / Fancy
Rainbow Productions. Fuente: http://vr.queerskins.com/installations
3.1 Consecución del efecto presencia
En la obra objeto de estudio, la presencia se
alcanza desde la estrategia arquetípica de colocar al espectador en el lugar de
la cámara, y al mismo tiempo ofrecerle dos niveles de acceso a la información.
En primer lugar, la conversación que atendemos sentados en el asiento trasero
del coche, desde donde vemos las reacciones de los actores que personifican a
los padres del personaje que ocupamos, y por otro lado la interacción que se
nos ofrece al poder coger los objetos personales que están situados en una caja
a nuestro lado, según se observa en las figuras 3 y 4. A través de la
combinación de ambos, la diégesis adquiere una dirección y energía propios.
Figuras
3 y 4. Szilak y Tsiboulsk. (2018). Fotogramas del cortometraje virtual Queerskins: a Love Story.
Cloudred Lab / Fancy Rainbow Productions.
Fuente: https://www.tribecafilm.com/filmguide/queerskins-a-love-story-2018
De los tres tipos de presencia que apunta Heeter (1992, pp. 263-264), estaríamos ante una obra que
usa la estrategia de presencia ambiental, ya que el entorno ofrece interacción
a través de los objetos que se encuentran en él (Figuras 5 y 6). Según apunta
este autor, si el entorno sabe de la presencia del espectador, puede contribuir
a que este crea que se encuentra en ese espacio, conectando con el concepto de
suspensión de la incredulidad. Este tipo de presencia se combina con la
presencia personal, ya que como espectadores reconocemos nuestra ubicación y la
concebimos como experiencial, pues el mundo virtual de la obra, el sonido y la
construcción por capas de la imagen, responde como el mundo real a los
movimientos de nuestro punto de vista.
Figuras
5 y 6. Szilak y Tsiboulsk. (2018). Fotogramas del cortometraje virtual Queerskins: a Love Story.
Cloudred Lab / Fancy Rainbow Productions.
Fuente: https://cloudred.com/lab/queerskins-a-love-story/
Por último, se confirman en esta obra las
tres reglas de Slater y Wilbur (1997), necesarias
para conseguir la presencia del espectador en el contexto de la diégesis
virtual. Por un lado, las reglas de interacción son claras, la navegación
visual y en el espacio es simple, pues solo implica el movimiento y la dirección
de la mirada, lo que potencia la estrategia de posicionar al espectador sentado
en el asiento trasero de un coche, posible analogía a la montaña rusa virtual,
y con unos movimientos sutiles, sin errores en la imagen cuando se cambia de
perspectiva.
3.2 Realización audiovisual volumétrica
Brillhart habla
de la necesidad de crear la identidad del usuario, y en este sentido esta obra
es un claro ejemplo de su efectividad. La cámara se desplaza al mismo tiempo
que la acción base de la escena. Estamos sentados dentro de un coche, por lo
que la ‘cámara-espectador’ sigue la trayectoria justificada por el contexto. La
atención la dirige el usuario, pero la navegación alrededor del espacio virtual
no es posible, entre otras cuestiones porque el registro volumétrico de los
padres nos obliga a elegir un punto de vista concreto, y no nos permite
movernos alrededor de la toma captada, pues su volumetría no completa los 360
grados. Esta cuestión no es relevante, pues la obra en sí no requiere que el
usuario explore más allá del lugar donde se encuentra sentado. El rodaje
se llevó a cabo en estudio, con uso de Chroma para la
captación de la imagen en video volumétrico, según se observa en las figuras 7
y 8.
Figuras
7 y 8. Szilak y Tsiboulsk. (2018). Imágenes del rodaje en estudio del
cortometraje virtual Queerskins: a Love Story. Cloudred Lab / Fancy Rainbow Productions. Fuente: https://www.imdb.com/title/tt8205132/mediaviewer/rm131680512
La producción del sonido binaural,
ejerce de sutil sistema de interacción, pues nuestra visión se dirige según el
lugar de donde proviene el registro de audio del acting
de los personajes, concentrándonos en el padre o la madre según intervengan. La
iluminación está rigurosamente compuesta para fusionar las tres capas de
registro que posee la obra. A este respecto, es importante resaltar el
procedimiento de ejecución, que parte del registro de video 360 del trayecto
que efectúa el vehículo, sobre el cual se coloca la capa del interior del coche
recreado en 3D por computador (Figuras 9 y 10), y donde implementamos la capa
de los padres conduciendo, registrados con técnica volumétrica, y la capa
interactiva de los objetos depositados al lado del espectador, también
generados por gráficos tridimensionales, según se observa en la figura 11, todo
compuesto en el motor de videojuegos Unity, a través del cual se implementa la
interactividad.
Figuras
9 y 10.
Szilak y Tsiboulsk. (2018).
Reconstrucción 3D del interior del coche del cortometraje virtual Queerskins: a Love Story.
Cloudred Lab / Fancy Rainbow Productions.
Fuente: https://www.kickstarter.com/projects/janthesvg/queerskins-a-love-storya-cinematic-vr-experience?lang=es
En relación con el montaje, no precisa de una
edición posterior por corte directo, ni por fundido. La obra se construye en un
plano secuencia virtual, donde el paso del tiempo y la atmósfera son reforzados
por el cambio del día a la noche en el registro de video 360 del exterior del
coche. La combinación de todos estos recursos y estrategias confieren a la obra
un carácter orgánico, que es capaz de transportar a la audiencia dentro de la
ficción propuesta.
Figura
11. Szilak y Tsiboulsk. (2018). Composición de imagen por capas del
cortometraje virtual Queerskins: a Love Story. Cloudred Lab / Fancy Rainbow Productions. Fuente: https://www.kickstarter.com/projects/janthesvg/queerskins-a-love-storya-cinematic-vr-experience?lang=es
3.3 Estructura narrativa
La estructura narrativa consta de un solo
acto. Pero si atendemos a su naturaleza transmedia,
partiendo de que el germen de esta producción es la novela Queerskins:
a novel (Szilak y Tsiboulski,
2011), una experiencia online interactiva, este cortometraje virtual es el
primer episodio de una serie de piezas audiovisuales para RV. Actualmente y
según se muestra en su página web (http://www.queerskins.com/)
están trabajando en el desarrollo del segundo episodio. Por lo tanto, quizá es
demasiado pronto para poder
analizar su estructura. Lo que sí queda claro es que se aleja del planteamiento
aristotélico, para construir una obra compuesta por diferentes piezas, que se
pueden consumir de manera independiente.
4. Discusión y conclusiones
La evolución del storytelling
contemporáneo pasa por la experimentación y producción de obras capaces de
diseñar nuevos sistemas diegéticos audiovisuales. La aplicación de las
metodologías y procedimientos de la dirección y realización audiovisual
convencional a las nuevas técnicas está en un estado primigenio. Lo que sí se
puede confirmar, es que las producciones audiovisuales de ficción para RV beben
de sus antecesores, no solamente del medio cinematográfico, sino también de las
artes escénicas, las artes plásticas y el videojuego, para configurar un
conglomerado de recursos que amplifica el poder de las imágenes, a efectos de
inmersión de la audiencia en el relato fílmico.
A pesar de que la obra utiliza la estrategia
de posicionar la cámara según el arquetipo de la montaña rusa, lo que según
diversos autores implica la pérdida de inmersión por parte del usuario, esta
obra propone un punto de vista concreto en el que sí que implica la dirección
de la mirada del espectador por parte del realizador, lo que supone la
aplicación del eje de acción, por lo que podemos hablar de cierto uso del plano
subjetivo en el contexto de la RV. Esta direccionalidad de la mirada viene
marcada por la toma volumétrica, partiendo de que no se trata de un registro de
video tridimensional completo de la acción, requiere de un eje, de manera
análoga a la práctica cinematográfica convencional. En relación
a la planificación y el salto proporcional, no hay una implicación estricta
en esta obra, pues los límites de la pantalla se diluyen.
Además, esta obra de ficción audiovisual de
RV combina de forma efectiva el factor emocional con la percepción del usuario
del mundo que experimenta, generando un modelo de dirección y realización audiovisual
orgánico sin edición por corte, con un montaje interno marcado por la actuación
de los actores, en el que el usuario también participa a partir de las opciones
de interacción que posee, un sistema interactivo sencillo pero certero para
sumergir al espectador en el discurso narrativo. Se trata pues de una
experiencia fílmica de RV.
La gramática del lenguaje de la RV está en
desarrollo, pero solo se constituirá como un medio estandarizado a través
de la experimentación y el aumento de las historias contadas en su espacio. A
este fin contribuye de una manera directa la obra objeto de estudio de este
trabajo. Queerskins: a Love Story (2018) es uno de los exponentes contemporáneos de
la cinematografía volumétrica de realidad virtual. Queda patente que los
principios de la narrativa se expanden a través de la combinación de
estrategias de diferentes disciplinas, siendo la interacción el elemento clave
en la diferenciación y evolución de la creación de experiencias fílmicas
virtuales.
5. Referencias bibliográficas
Bates, J. (1992). Virtual reality, art, and
entertainment. Presence: Teleoperators & Virtual Environments, 1(1),
133-138.
Bordwell, D., Staiger, J.,
& Thompson, K. (1985). The classical Hollywood cinema: Film style &
mode of production to 1960. Columbia University Press.
Bucher, J. (2017). Storytelling for virtual
reality: methods and principles for crafting immersive narratives.
Routledge.
Cho, J., Lee, T. H., Ogden, J., Stewart, A., Tsai, T.
Y., Chen, J., y Vituccio, R. (2016, July). Imago:
presence and emotion in virtual reality. In ACM SIGGRAPH 2016 VR Village
(p. 6). ACM.
Gaudreault, A., & Jost,
F. (1995). El relato cinematográfico.
Paidós.
Green, M. C., & Brock, T. C. (2000). The role of
transportation in the persuasiveness of public narratives. Journal of
personality and social psychology, 79(5), 701.
Heeter, C. (1992). Being
there: The subjective experience of presence. Presence: Teleoperators &
Virtual Environments, 1(2), 262-271.
Ijäs, N. (2016). Transitioning
Between Worlds Editing and Pre-production in Cinematic Virtual Reality.
Kelly,
Kevin (2016). “Hyper Vision”
en Wired, abril (versión digital). Recuperado
de: https://www. wired.com/2016/04/magic-leap-vr/. Fecha
de consulta: 05/11/2019.
Martínez-Cano,
F. J. (2018). Impresiones sobre Carne y Arena: práctica cinematográfica y
realidad virtual. Miguel Hernández
Communication Journal, (9), 161-190.
Mateer, J. (2017). Directing
for Cinematic Virtual Reality: how the traditional film director’s craft
applies to immersive environments and notions of presence. Journal of Media
Practice, 18(1), 14-25.
Milk, C. (2015). How
virtual reality can create the ultimate empathy machine. TED 2015. Recuperado
de:
https://www.ted.com/talks/chris_milk_how_virtual_reality_can_create_the_ultimate_empathy_machine . Fecha
de consulta: 22/11/ 2019.
Nielsen, L. T., Møller,
M. B., Hartmeyer, S. D., Ljung,
T., Nilsson, N. C., Nordahl, R., & Serafin, S. (noviembre, 2016). Missing the point: an exploration of how to guide
users' attention during cinematic virtual reality. In Proceedings of the
22nd ACM Conference on Virtual Reality Software and Technology (pp.
229-232). ACM.
Slater, M., &
Wilbur, S. (1997). A framework for immersive virtual environments (FIVE):
Speculations on the role of presence in virtual environments. Presence:
Teleoperators & Virtual Environments, 6(6), 603-616.
Syrett, H., Calvi, L., & van Gisbergen, M. (2016, June). The oculus
rift film experience: a case study on understanding films in a head mounted
display. In International Conference on Intelligent Technologies for
Interactive Entertainment (pp. 197-208). Springer,
Cham.
Fox, K. (productor) y Szilak,
I. (director). (2018). Queerskins: a Love Story [Cinta Cinematográfica de Realidad Virtual]. USA: Cloudred Lab / Fancy
Rainbow Productions.
Tricart, C. (2017). Virtual reality filmmaking: Techniques
& best practices for VR filmmakers. Taylor
& Francis.
Zelcer, M.
(2018). Pantalla, imágenes y cámara en la realidad virtual: una aproximación. Imagofagia, (18), 322-343.
BIO
Francisco Julián
Martínez Cano (1983) es Doctor en Bellas
Artes y profesor de la
Ha realizado exposiciones
nacionales e internacionales, de las que destacan su participación en las exposiciones
Condición de Posibilidad, Palacio de los Condes de Gabia
de Granada (2005), IX Exposición Audiovisual UPV-BBVA, Bilbao (2006). La
exposición Gabinete de Papeles, en el Museo de Arte Contemporáneo de Elche (2011), el proyecto Terrorismo de Masas (2014), Centro 14 de
Alicante, y su participación en el Miami New Media Festival 2019 y en la Miami
Art Week 2019 con la obra audiovisual ALC-SKG.
Es miembro del grupo de
investigación OCAP, cuyos objetivos son el estudio de la imagen audiovisual y las
funciones comunicativas de los medios emergentes. Ha sido profesor invitado en
la Universidad de Beira Interior (Portugal), en la Universidad de Evora (Portugal), en el Plymouth College
of Art, Plymouth (Reino Unido) y en la Universidad de
las Californias Internacional, Tijuana (México).
Desde 2001, hasta la
actualidad es el IP del grupo de investigación OCAP, espacio-lugar para la
observación multilateral que centra su interés en el estudio de la imagen visual y audiovisual, y en la exploración de
las funciones comunicativas que los nuevos medios emergentes aplican con
versatilidad. Es miembro del colectivo internacional Contemporáneos en cuyo
contexto desarrolla proyectos fotográficos independientes y series colectivas.
Fue investigador principal
del proyecto Mapa de la memoria, financiado por la Fundación Víctimas del
terrorismo, Diputación de Alicante Instituto Alicantino de Cultura Juan
Gil-Albert, y Caja de ahorros del Mediterráneo CAM, Obra Social. Fue IP del
Laboratorio de Ideas, Diseño e Innovación IDI Lab,
financiado por el programa de investigación de Bancaja.