Potenciais narrativos de interatividade para vídeos de altíssimas resoluções no campo da videocolaboração Rafael Toscano Valdecir Becker
Digital Video Applications Laboratory LAVID Federal University of Paraíba Cidade Universitária, s/n - Castelo Branco, João Pessoa - PB, Brazil. Postal code 58051-900
[email protected]
Digital Video Applications Laboratory LAVID Federal University of Paraíba Cidade Universitária, s/n - Castelo Branco, João Pessoa - PB, Brazil. Postal code 58051-900
[email protected]
RESUMO A partir da análise e identificação de aplicações interativas, este trabalho se propõem a apontar os usos potenciais de altíssimas resoluções como elemento linguístico da narrativa audiovisual na esfera da videocolaboração. As análises incluem campo exploratório, perfis de usuário, construção colaborativa, além de novas experiências de consumo e usabilidade.
PALAVRAS CHAVE Campo exploratório, vídeos videocolaboração, interatividade.
1.
de
altíssimas
resoluções,
INTRODUÇÃO
Este trabalho delineia o estado da arte acerca dos usos potências de interatividade para vídeos de altíssima resolução como 4K e 8K. Para fins deste artigo, delimita-se por interatividade relação entre conteúdo e usuário que adicione ou modifique a forma, o sentido e o consumo de um produto de videocolaboração. Isto é, artefatos em vídeo digital que empregam a internet como sistema de gestão, compartilhamento e ressignificação. Outro enfoque relevante é o sentido adotado da palavra “aplicação”, em que atribuímos todo uso consciente de vídeos em altíssima resolução, com escopo técnico, científico ou narrativo, no qual o fator resolução seja significativo para o processo de produção e consumo. A produção técnica e acadêmica desde a década de 90, momento em que se atribui as primeiras experiências interativas em vídeo pelo enfoque da resolução, se ocupa apenas com as discussões a respeito do suporte tecnológico. Por esse motivo, a discussão científica sobre as implicações da alta resolução e como ela dialoga com a matriz linguística do produzir/consumir audiovisual não obteve avanço. Entender o comportamento, as implicações desse novo suporte visual e como ele se configura na esfera digital e no campo da videocolaboração é o cenário de discussão deste trabalho.
2.
espaço profundo, escolha técnica em que todos os elementos do primeiro, segundo plano e background estão em foco. e perspectiva. Tradicionalmente o espaço profundo existente e é segmentado pelo recorte narrativo e visual do diretor. Desse modo elementos do extra quadro são desconsiderados como parte consumível. Essa prática é presente em todo produto audiovisual, seja televisão, cinema e derivados. No entanto, há cenários em que os elementos tanto do extra quadro quanto do intra quadro possuem relevância para o processo de construção e consumo de um universo narrativo.
O campo exploratório
A narrativa audiovisual não consegue explicitar todos os pontos de vista, todos os elementos simbólicos que apontam uma história. Por esse motivo produtores de conteúdo têm criado universos narrativos que se utilizam de diversos suportes midiáticos, prática popularmente conhecida como transmídia. De acordo com Bruce Block, esse universo pode ser percebido também através do
Figura 01: Aplicação do conceito de campo (enquadramento), extra campo (elementos externos ao quadro) e Intra Campo (elementos internos quadro) - Fonte: Acervo público de divulgação da orquestra da USP).
Conforme Jane Almeida, o sentido de produzir cada vez mais dados e mais pixels numa imagem é produzir a experiência de escalabilidade, ou seja expandir a possibilidade do campo fixo (enquadramento) e possibilitar seu manuseio como campo exploratório. De modo que ele se torne um elemento auxiliar da matriz linguística do audiovisual, seja para fins técnicos, científicos ou narrativos.
3.
Estado da arte
O processo metodológico adotado por este trabalho se deu pelo levantamento de palavras chaves que compõem o universo conceitual da pesquisa, de forma a construirmos um repertório das produções acadêmicas e técnicas-científicas sobre a questão. O conjunto de termos adotados foram: 1) Campo exploratório; 2) Zoomable 3) Push zoom; 4) Máscara virtual; 5) Resize video; 6) Imagens escaláveis; 8) Zoom digital; 9) Região de interesse; 10) Câmera virtual; 11) Espectador câmera man; 12) Vídeo
responsivo. Com a seleção de conceitos foi realizado uma listagem em repositórios específicos para a construção de uma planilha. Nesta etapa inicial da pesquisa, foram identificadas 75 (setenta e cinco) produções acadêmicas cujo tema permeia a alta resolução em vídeo digital e aplicações destinadas a interação. Entretanto apenas 4 trabalhos apresentaram relação direta com o objeto de pesquisa deste artigo, que são as aplicações potências narrativas dos vídeos de altas resoluções. Devido a baixa relação direta de trabalhos, foram analisadas produções de perfil tecnológico, afim de reconhecer a relação entre o desenvolvimento técnico e as possibilidades de aplicação narrativa.
quantidade de equipamentos, se dá pela ótica de que os detalhes segmentados pelas câmeras Full HD se tornam desnecessários com a utilização de altíssimas resoluções. Essa redução de câmeras tem implicação direta na edição das imagens, de modo que cada plano tem uma duração maior para que o espectador interprete a riqueza de informação. Esse modo mais “lento" de expor a narrativa futebolística traz ao telespectador o fator contemplação, de forma semelhante ao torcedor que está no estádio. Essa afirmação de Fernando é interessante pois dialoga com Newton Cannito quando afirma que o futuro da TV está na espetacularização dos fatos, com um quadro genérico e sem camadas de distração.
O processo de sistematização das atividades está em andamento, contudo é possível identificar que desde o período mais antigo, maio de 1991 ao primeiro semestre de 2015, grande parte da produção se debruça na discussão tecnológica instrumental de como viabilizar essa interação. Ainda sobre os modos de interação, os trabalhos identificados se dividem em dois grandes grupos: 1. Os que apostam em interfaces em uma única tela. Como a Sony que anunciou recentemente no IFA em Berlim, uma smart tv desenvolvida em parceria com o instituto alemão Fraunhofer, que apresenta a opção de campo exploratório e congelamento da imagem para visualização de detalhes por parte do espectador/usuário. 2. Dispositivos externos. O segundo grupo que detêm a maioria das pesquisas, dialoga com as interações por meio de dispositivos externos, também conhecidos como telas companheiras ou segunda tela. Esses experimentos se utilizam dos potenciais de interatividade por meio das linguagens interativas gestuais (LIG) e elementos de hardware como acelerómetro, tela multi toque e acesso a internet por meio de dispositivos móveis como smartphones e tablets. Além do nomes já citados outras instituições relevantes no mercado tem produzido trabalhos sobre as dinâmicas tecnológicas, como por exemplo Philips, Canon, Adobe Systems, Fuji e Samsung. Dentre todas as pesquisas levantadas, foram escolhidas três ações que demonstram potenciais de atuação e que possuem relevância para uma futura estruturação da matriz linguísticas de vídeos de altíssima resolução para videocolaboração. De forma geral as ações levantadas pretendem disponibilizar ao espectador cada vez mais usuário, a capacidade de direcionar os pontos de atenção e o recorte visual de um registro, de acordo com seu próprio interesse. Alterando a dinâmica de consumo tradicional e se equiparando aos conceitos de colaboração oriundos do suporte digital em rede. 3.1. A narrativa pela ótica do 4k e 8K O trabalho desenvolvido pelo professor Fernando C. Moura dialoga com a inovação tecnológica da transmissão em HD, 4k e 8K realizadas na copa do mundo de 2014 e como os modos de produção e consumo foram alterados. Segundo o autor, “Mudou a forma de fazer técnica e retoricamente, mudou o enquadramento, produto dos sensores CMOS que não permitem determinadas tomadas em um evento ao vivo[…] sobretudo, a forma como se conta a historia do jogo.” Segundo Fernando a implicação dos novos formatos de produção é tão expressiva, que o experimento projetado pela FIFA em parceria com a rede globo e a empresa NHK chegou ao resultado prático, que para transmitir um jogo em Full HD é necessário trinta e cinco (35) câmeras, em 4k treze (13) e na tecnologia 8K apenas cinco (5). A análise do autor sobre a redução da
Figura 02: Distribuição de câmeras ( Full HD - 4k)
Outro marco relevante sobre a copa do mundo é o dado divulgado pela empresa responsável da tecnologia EVS C-Cast, que divulgou o número de 61,25 horas em vídeo gerado por jogo. Esse material compilado em apenas duas horas de evento foi distribuído para as redes de televisão em forma de conteúdo complementar. Esse riqueza de material e gerenciamento de conteúdo por proxy possibilitou o grande fenômeno da copa do mundo de 2014, a experiência multi-tela. Esse sistema de informação que já existe (EVS- C-cast) atrelado ao uso de vídeos de altas resoluções viabiliza a utilização de campo exploratório por parte do usuário, já que o canal de distribuição existe e o interesse do torcedor em visualizar os detalhes também.
3.2 Zoom e panorâmica digital em eventos O instituto Fraunhofer apresenta um experimento que tem como objetivo a criação de imagens panorâmicas de altíssima resolução para eventos ao vivo, através de um agrupamento de 5 câmeras 2K. Este trabalho é importante no cenário em questão pois traz diversos pontos a discussão, como por exemplo, a construção de vídeos de altíssimas resoluções a partir de várias câmeras. Essa configuração de captura de imagem é um reflexo de que o “limite" de resolução de um quadro não precisa estar ligado necessariamente a capacidade técnica de um equipamento disponível no mercado. Pelo contrário o experimento ressalta que o fator decisivo de resolução é a necessidade técnica/narrativa do projeto. O agrupamento das câmeras de forma a originar uma imagem super wide com uma deformação óptica, possibilita ao usuário que se depara com a imagem escalável em um dispositivo móvel, uma experiência diferenciada. É possível definir essa nova percepção através da aplicação de dois conceitos básicos da matriz linguística do audiovisual, são eles: deformação óptica e movimento relativo, em que o usuário tem a percepção de espacialidade e profundidade do movimento. Ao invés dos experimentos tradicionais de zoom que simulam unicamente o deslocamento de uma máscara virtual nos eixos X e Y da imagem. Além disso, a justaposição das imagens consegue suavizar um
fenômeno comum de redução da nitidez nas bordas do quadro, uma vez que, com a fusão das imagens nos cantos é possível duplicar os pixels na região.
pesquisa somados a um mapa de interesses com base na experiência de uso de um grupo de consumidores. Essa prática de construção colaborativa em vídeo é o resultado proposto para solucionar alguns problemas de experiência de consumo e produção, são eles: 1) Acompanhamento de objetos em movimento, uma vez que na expansão da imagem (zoom) sem parâmetro algum, o usuário teria que modificar a todo instante o posicionamento visual para acompanhar seu elemento de interesse, caso ele não ocupasse mais o quadro selecionado. Embora exista a opção de automatizar esse processo por meio de trackeamento e acompanhamento do objeto, a equipe do projeto optou por realizar esse procedimento de forma “manual”, em que cada movimento realizado em teste pelos voluntários é computado e inserido no sistema, como uma forma de biblioteca de interesses.
Figura 03: Distribuição de câmeras - Imagem super wide e zoom
O experimento do instituto apresenta uma dinâmica de captura, processamento, distribuição e interação viabilizadas totalmente pela rede de internet. Nesse experimento, para evitar o tráfego de informação altíssimo no qual cinco (5) câmeras 2K emitem sinal ao mesmo tempo, foi desenvolvido um sistema de processamento apenas dos dados em quadro e um pré carregamento das áreas mais próximas. Essa solução permitiu que o usuário final da aplicação tenha uma experiência fluída em termos de uso de banda, tráfego totalmente oposto do servidor que necessita de um fluxo altíssimo de rede para realizar todo processo de captura, processamento, sincronização, e distribuição.
Figura 05: Diagrama de construção (1) Vídeo original (2) mapa de importância (3) Vídeo para análise com grupo (4) Mapa de interesses (5) Junção dos mapas (7) Vídeo final.
Em detrimento dessa escolha é possível perceber o fator humano como a solução de outro ponto 2) As regiões que realmente apresentam interesse e necessidade de escalonamento. Um parâmetro técnico/narrativo que envolve este ponto é o uso de planos abertos com múltiplas ações. Em que o usuário tem a opção de acompanhar tudo ou segmentar sua visualização e obter detalhes de um plot em cena. Além da atribuição do conceito de “semântica” da imagem, também foi incluído pelos pesquisadores no produto final. O conceito de sintaxe visual, já que os pontos de vista recomendados englobam além dos objetos de interesse, um recorte visual fundamentado pelas diretrizes estéticas e cinematográficas.
Figura 04: Esquema de movimentação da panorâmica. O movimento realizado pelo espectador, tem variação na escala x,y e z.
3.3
Colaboração
e
campo
exploratório
A produção realizada por pesquisadores franceses da Universidade de Toulouse em parceria com a Universidade Nacional de Singapura. Traz ao cenário dos vídeos de altíssimas resoluções um avanço no campo de aplicação para a videocolaboração. A pesquisa propõem a criação de um vídeo de altíssima resolução com base na construção colaborativa de pontos de vista recomendados por usuários. As indicações etapa denominada pelo autor como crowdsourcing são construídas a partir de um mapa de importâncias, predefinido pela equipe de
A solução proposta nesse experimento, apresenta grande potencial para aplicação em produtos audiovisuais de caráter colaborativo. Em que o crowdsourcing como ciclo de ressignificação e finalização do conteúdo, é um workflow potencial para esquemas de produção complexos de vídeos de alta resolução. A validação de “interesse” de pontos de vista recomendados sobre a trama é fundamental uma vez que existem diversos níveis de engajamento por parte de usuários. Sendo assim, a narrativa deve ser capaz de oferecer a melhor experiência de consumo para cada perfil, seja o consumo de espectador ou usuário.
4.
Conclusão
O cenário acerca da interatividade em vídeo por meio de altíssimas resoluções é um campo de pesquisa e desenvolvimento tecnológico em constante crescimento. Contudo, não existe equilíbrio entre o desenvolvimento instrumental e a compreensão das implicações e aplicações dessa ferramenta, no modo como se produz e consome um vídeo de altíssima resolução. Além dessa
lacuna de pesquisa é possível associar o crescimento de consumo audiovisual em rede e por dispositivos móveis como fator potencial de estudo. De acordo com o professor Philippe Dubois essa relação tradicional de culto a imagem está dividindo seu espaço com um novo modo de consumo: A narrativa de exposição, análise e manuseio técnico da imagem. Em que a transmissão de sentido não existe apenas pela recepção passiva da imagem, mas pelo processo de desconstruir e reconstruir um quadro.
with crowd-driven prefetching, Proceedings of the 2011 international ACM workshop on Interactive multimedia on mobile and portable devices, November 29-29, 2011, Scottsdale, Arizona, USA [doi>10.1145/2072561.2072564] [7] KOPP, Samuel. Adaptação de vídeo através de redes de serviços sobrepostos. 2010. 82. Dissertação em (Engenharia de computação) – USP, São Paulo, 2010.
Sendo assim, o entendimento das aplicações que o campo exploratório, a exposição de informação por perfil de usuário, a construção colaborativa de pontos de vista, imagens com maior duração, múltiplas ações ao mesmo tempo, telas compartilhadas, aproximação dos conceitos de jogos gerando os vídeo-jogos, o uso de quadros abertos com elevado ângulo de cobertura, as instalações de cinema expandido e tantas outras aplicações, é um parâmetro de estudo válido para a compreensão dos novos rumos e elementos que compõem o que chamamos de matriz linguística do audiovisual. Seja pela reconfiguração de modos de produção ou a inserção de novos parâmetros, entender e avaliar os potenciais usos de vídeos de altíssimas resoluções no campo da videocolaboração é o trajeto para a compreensão do que se espera como o futuro da narrativa audiovisual.
[8] MOURA, Fernando C. As mudanças nas transmissões esportivas de televisão com a chegada da super alta definição (UHDTV). Revista da SET, São Paulo, Volume ume 9, setembro 2015.
5. Trabalhos futuros
[11] Vamsidhar Reddy Gaddam , Ragnar Langseth , Sigurd Ljødal , Pierre Gurdjos , Vincent Charvillat , Carsten Griwodz , Pål Halvorsen, Interactive Zoom and Panning from Live Panoramic Video, Proceedings of Network and Operating System Support on Digital Audio and Video Workshop, p.19-24, March 19-21, 2014, Singapore, Singapore [doi>10.1145/2578260.2578264]
Estruturação matriz de aplicações linguísticas para vídeos de altíssima resolução, visando desenvolvimento de produtos audiovisuais e experimentações de videocolaboração no campo do cinema expandido.
6. REFERÊNCIAS [1] ALMEIDA, Jane. abreviado. Dossiê escalabilidade, Trama Interdisciplinar, São Paulo, v. 5, n. 3, p. 32-37, dez. 2014 [2] Axel Carlier , Vincent Charvillat , Wei Tsang Ooi , Romulus Grigoras , Geraldine Morin, Crowdsourced automatic zoom and scroll for video retargeting, Proceedings of the international conference on Multimedia, October 25-29, 2010, Firenze, Italy [doi>10.1145/1873951.1873962] [3] Axel Carlier , Guntur Ravindra , Vincent Charvillat , Wei Tsang Ooi, Combining content-based analysis and crowdsourcing to improve user interaction with zoomable video, Proceedings of the 19th ACM international conference on Multimedia, November 28-December 01, 2011, Scottsdale, Arizona, USA [doi>10.1145/2072298.2072306] [4] BLOCK, Bruce A. A narrativa visual: criando a estrutura visual para cinema, TV e mídias digitais / Bruce A Block; tradução Cláudia Mello Belhassof. – São Paulo: Elsevier, 2010. [5] CANNITO, Newton Guimarães. A televisão na era digital: interatividade, convergência e novos modelos de negócio/Newton Guimarães Cannito. - São Paulo: Summus, 2010. [6] Derek Pang , Sherif Halawa , Ngai-Man Cheung , Bernd Girod, Mobile interactive region-of-interest video streaming
[9] Ngo Quang Minh Khiem , Guntur Ravindra , Axel Carlier , Wei Tsang Ooi, Supporting zoomable video streams with dynamic region-of-interest cropping, Proceedings of the first annual ACM SIGMM conference on Multimedia systems, February 22-23, 2010, Phoenix, Arizona, USA [doi>10.1145/1730836.1730868] [10] SEO, Dongman et al. Real-time panoramic video streaming system with overlaid interface concept for social media. Multimedia Systems, New York, Volume 20, Issue 6, páginas 707-719, November 2014.
