Resumo: O projeto prope a criao de uma plataforma imersiva multidimensional, convergindo tecnologias de Realidade Virtual (RV), TV Digital Interativa

(TVDI), e Cinema Digital em um mecanismo capaz de apresentar contedo em mltiplas dimenses ao usurio, atravs de estmulos visuais, auditivos, tteis e olfativos. A tecnologia ser destinada disponibilizao de contedo imersivo voltado educao bsica, educao superior, cultura e ao turismo. Atravs da tecnologia, ser possvel, por exemplo, fazer um passeio virtual pelas dunas de Genipabu, apresentando ao usurio alguns dos estmulos inerentes ao passeio real, tais como: sensaes de movimento do veculo, vento, vapor de gua, bem como um vdeo imersivo em 3 dimenses, dando a impresso de que o usurio est realmente fazendo o passeio real. Alm da aplicao do passeio turstico virtual, outras aplicaes, tais como um passeio virtual pelo corpo humano, passeio virtual por uma planta de construo civil, passeio treinamento em uma plataforma de petrleo, passeio virtual por um museu virtual, tambm so possveis. Justificativa: O constante melhoramento das tecnologias utilizadas para exibio de contedo audiovisual tanto no cinema quanto na televiso tem gerado cada vez mais expectativa e aumentado o grau de exigncia dos usurios destes veculos de comunicao. O vdeo exibido atravs destes veculos, que inicialmente era preto e branco e mudo, passou a ter udio, a ser exibido em cores, a ter mltiplos canais de udio, a ter alta definio de imagem, a ter interatividade com os usurios atravs do controle remoto, a ser exibido em trs dimenses, e, mais recentemente a ser exibido atravs de uma tecnologia que ficou conhecida no mercado como Cinemas 4D ou de quatro dimenses. Os Cinemas 4D recebem esse nome porque permitem, alm da visualizao do vdeo em 3 dimenses, atravs de tcnicas de exibio de imagem estreo, a percepo de outros estmulos por parte do espectador, tais como a sensao de odores, temperatura, umidade, ventilao, estmulos mecnicos e outros, associados s cenas do vdeo em exibio. Isso faz com que o usurio tenha a sensao de que est dentro do ambiente do vdeo, caracterizando-o como um ambiente imersivo. Alm da aplicao na indstria do entretenimento, como o caso dos cinemas, os ambientes imersivos tm uma srie de outras aplicaes tais como o treinamento de pessoal para trabalhar em ambientes insalubres, que envolvam risco de morte, ou que demandem a utilizao de equipamentos de custo elevado, dentre outras. Nesses casos, simuladores podem ser construdos e utilizados para fazer o treinamento do pessoal em ambientes virtuais imersivos, que reproduzam as caractersticas dos ambientes reais nos quais o pessoal ir trabalhar. Desta forma, os usurios do ambiente virtual imersivo deixam de ser meros expectadores e passam a poder interagir com o ambiente virtual no qual esto inseridos, que pode ser modificado de acordo com as aes dos usurios. As aplicaes de tecnologias imersivas podem trazer benefcios aos diversos segmentos da sociedade. 1 Para os alunos e professores do ensino bsico, a tecnologia pode facilitar o processo de ensino e aprendizagem de alguns contedos que normalmente permanecem no campo terico, em funo da ausncia de equipamentos que possibilitem a visualizao dos elementos reais, como o caso do estudo atmico, por exemplo. Nesse caso, a tecnologia imersiva pode possibilitar a realizao de um passeio virtual por dentro de uma estrutura atmica, no caso das cincias fsicas, ou mesmo pelo interior do corpo humano, no caso do ensino das cincias biolgicas. 2 O mesmo argumento pode ser aplicado comunidade de discentes e docentes do ensino superior, possibilitando, por exemplo, a realizao de treinamentos em ambientes insalubres ou mesmo em equipamentos de custo elevado, tanto para professores quanto para alunos. Alm disso, uma plataforma de imersividade pode ser uma importante ferramenta na conduo de algumas pesquisas cientficas. 3 No setor de turismo, a plataforma de realidade virtual pode ser empregada para a realizao de passeios virtuais pela cidade ou por pontos tursticos do estado. Essa aplicao pode ser extremamente til em perodos tais com o atual momento da copa do mundo. 4 No mbito cultural, a plataforma pode ser utilizada para passeios atravs de museus virtuais. 5 J no setor comercial, podemos utilizar o exemplo do setor imobilirio, no qual a plataforma de Realidade Virtual pode ser utilizada para que se visite um determinado empreendimento ainda em construo. Apesar de os Cinemas 4D j suportarem algum nvel de imersividade, a tecnologia que est correntemente disponvel para o pblico ainda precisa ser evoluda para que o usurio final possa realmente ter a sensao de que est dentro do ambiente do vdeo, participando e interagindo com o mesmo, tal qual ocorre com os simuladores imersivos utilizados para treinamento. Alm disso, a tecnologia tambm

precisa ser adaptada para que possa ser utilizada em outros veculos de comunicao tal como a televiso. Fundamentao Terica: O Brasil escolheu o seu sistema de televiso digital (TVD) recentemente, em 2006. Dados do Frum Brasileiro de TV Digital mostram que at 2009 foram vendidos no pas aproximadamente 2 milhes de aparelhos, entre conversores e aparelhos de TV ditos 100% digital. A expectativa que em 2010 tenhamos 7 milhes de aparelhos vendidos no Brasil. Apesar desse nmero expressivo de aparelhos vendidos, a interatividade na televiso aberta brasileira ainda no uma realidade. So poucos os aparelhos no mercado que suportam a interatividade e as emissoras de TV ainda fazem transmisses experimentais de contedo interativo. Contudo, a expectativa por parte dos geradores de contedo, emissoras de TV e dos prprios fabricantes da indstria de recepo de que a interatividade no pas se torne uma realidade nos prximos anos. O que se constata at o momento que foram exploradas poucas das potencialidades da TVDI (televiso digital interativa), e as aplicaes interativas que existem nos diferentes padres de TVD pelo mundo ainda esto num nvel de complexidade de interao baixo. O sistema de middleware que possibilita a interatividade na televiso digital brasileira, o Ginga, um dos mais modernos do mundo. E, por ter sido completamente desenvolvido no pas, pode sofrer evolues de acordo com as necessidades do telespectador (agora chamado usurio) brasileiro e na medida em que novas tecnologias se tornem disponveis no mercado. Assim sendo, o presente projeto se prope a estudar e desenvolver novas formas de interao dos usurios da TV digital interativa e do cinema com o contedo exibido, atravs de tecnologias imersivas. Uma das necessidades que surgiram com a evoluo das tecnologias de televiso digital interativa, novas aplicaes de Realidade virtual (RV), e cinema 4D, a de estudar a convergncia dessas tecnologias, possibilitando uma experincia homem-mquina mais profunda e abrangente. Essa convergncia deve ser estudada, pois visvel que estas tecnologias exercem grandes influncias umas nas outras. A realidade virtual, por exemplo, usada no cinema 3D e no cinema 4D para adicionar uma maior sensao de imerso do telespectador no filme. J a TV, ao longo de sua histria, sofreu influncias do cinema e influenciou esta arte. Cabe agora pensar que para a televiso digital interativa, deveremos aproveitar as experincias de sucesso do cinema 3D e 4D (e consequentemente dos novos recursos de realidade virtual) e dar um passo alm para nos mantermos inovando nestas reas. O que nos traz novamente a questo da evoluo dessas tecnologias. Tanto a televiso digital quanto o cinema, futuramente podem envolver outras formas de apresentao, ampliando as dimenses da sensao imersiva com o uso de novos equipamentos de RV. No tocante a TVDI h problemas que precisam ser resolvidos. Um deles a falta de um consenso sobre como funcionar a interatividade, ou que tipo de servios interativos podem ser fornecidos ao consumidor brasileiro. Pode-se observar entre os diversos padres de TVD (televiso digital) no mundo que o poder das aplicaes no que se refere interatividade no parece ser muito explorado. Muitas vezes limitando-se a interatividade local, como a escolha e gravao de programas e teletexto, a execuo de jogos, ou no mximo a realizao de enquetes quando h algum canal de retorno. Como j discutimos antes, o modelo de negcios da TVDI precisa ser aprofundado no tocante aos aspectos interativos. E novamente vemos aqui a oportunidade de definir novos meios de interao ao usurio (neste caso com a TVDI). Portanto, o problema abordado neste projeto consiste na necessidade de desenvolver novas formas de interao (imersivas) para os usurios da TV digital e do cinema. Metodologia: O projeto dever ser executado em 12 meses, organizado nas seguintes etapas. Os prottipos de cavernas imersivas sero desenvolvidos seguindo a metodologia de prototipagem iterativa, aonde se constri um prottipo acrescentando novos recursos ao prottipo anterior. Etapa 1 Projeto & Pesquisa - Nesta etapa sero desenvolvidas as seguintes macroatividades: projeto e pesquisa de modelos de cavernas imersivas; planejamento das implementaes dos prottipos; planejamento dos testes que sero executados em todos os prottipos; desenvolvimento da matriz de aromas para a etapa 4; redao de artigos, patentes e relatrios tcnicos; e aquisio de equipamentos para as etapa 1 e 2. Etapa 2 - Viso & Audio - Nesta etapa sero desenvolvidas as seguintes macroatividades: implementao dos recursos de som (mono, estreo e multi-canal) e imagem (bidimensional e tridimensional) para montar os primeiros prottipos de caverna imersiva; estudos e testes de aplicaes para

comparar os impactos desses recursos no usurio; escrita de artigos, patentes e relatrios tcnicos; e aquisio de equipamentos para a etapa 3 e 4. Etapa 3 - Tato - Nesta etapa sero desenvolvidas as seguintes macroatividades: implementao dos recursos de tato (atuadores para cadeiras, force feedback, robs, ar-condicionado, ventiladores, umidificadores); desenvolvimento de linguagem de script para controlar os recursos de tato pelas aplicaes interativas imersivas; desenvolver mdulos de middleware para controle de dispositivos imersivos de tato para cinema e TV; estudos e testes de aplicaes para comparar os impactos desses recursos no usurio; e escrita de artigos, patentes, e relatrios tcnicos; e aquisio de equipamentos para a etapa 5. Etapa 4 - Olfato - Nesta etapa sero desenvolvidas as seguintes macroatividades: implementao dos recursos de olfato (dispositivos para liberao de fragrncias no ambiente); desenvolvimento de linguagem de script para controlar os recursos de aroma pelas aplicaes interativas imersivas; desenvolver mdulos de middleware para controle de dispositivos imersivos de aroma para cinema e TV; estudos e testes de aplicaes para comparar os impactos desses recursos no usurio; e escrita de artigos, patentes, e relatrios tcnicos. Etapa 5 - Redes e Escalabilidade - Nesta etapa sero desenvolvidas as seguintes macroatividades: estudar formas de tornar escalvel o servio (transmisso e retorno) de aplicaes interativas imersivas; criar um pacote padro de recursos imersivos para os usurios de TV Digital e outro para o usurio em salas de cinema; desenvolver mdulos de middleware para controle de dispositivos imersivos para cinema e TV; estudar questes de cunho colaborativo em ambientes imersivos com mltiplos usurios; e escrita de artigos, patentes, e relatrios tcnicos. De acordo com os estudos realizados na primeira etapa, decidiremos sobre que configurao usar para a caverna de 10 lugares. Uma das alternativas construir uma plataforma sobre a qual colocamos umas 10 cadeiras e sob a qual colocaremos pistes capazes de exercer presso elevada. Esses pistes podero ser pneumticos ou hidrulicos, escolha tambm depender dos resultados da pesquisa. A segunda alternativa construir uma plataforma para 10 pessoas que seria aplicada a cinemas e cadeiras individuais. Para essas cadeiras individuais, os pistes podem ser pneumticos e localizados conforme as figuras em anexo. Referncias: [PRODUO CIENTFICA RELACIONADA AO TEMA DOS PROPONENTES] ============================================== [Patentes] ------------ AROCA, R. V. ; Burlamaqui, A. ; GONCALVES, L. M. G. . Sistema para controle em malha fechada de equipamentos mecatrnicos por meio do canal de udio de dispositivos mveis. 2011, Brasil. Patente: Privilgio de Inovao. Nmero do registro: PI11072881, data de depsito: 30/11/2011, ttulo: "Sistema para controle em malha fechada de equipamentos mecatrnicos por meio do canal de udio de dispositivos mveis" , Instituio de registro:INPI-SEDEC-RN. LEITE, Luiz Eduardo Cunha ; SOUZA FILHO, Guido Lemos . Sistema para Execuo de Aplicaes Baseadas em Compartilhamento de Espao Acstico em Ambiente de TV Digital. 2006, Brasil. Patente: Modelo de Utilidade. Nmero do registro: MU8601909-0 U2, data de depsito: 13/07/2006, ttulo: "Sistema para Execuo de Aplicaes Baseadas em Compartilhamento de Espao Acstico em Ambiente de TV Digital" . LEITE, Luiz Eduardo Cunha ; SOUZA FILHO, Guido Lemos . SISTEMA PARA INTERAO SIMULTNEA DE MLTIPLOS TELESPECTADORES COM PROGRAMAS DE TV DIGITAL INTERATIVA. 2006, Brasil. Patente: Modelo de Utilidade. Nmero do registro: MU8601367-0 U2, data de depsito: 05/05/2006, ttulo: "SISTEMA PARA INTERAO SIMULTNEA DE MLTIPLOS TELESPECTADORES COM PROGRAMAS DE TV DIGITAL INTERATIVA" . [Artigos Cientficos Relacionados] -------------------------------------- Aroca, Rafael V. ; Gomes, Rafael B. ; Tavares, Dalton M. ; Souza, Anderson Abner S. ; BURLAMAQUI, Aquiles Medeiros Filgueira ; Caurin, Glauco A. P. ; GONCALVES, L. ; Goncalves, Luiz M. G. . Increasing Students' Interest With Low-Cost CellBots. IEEE Transactions on Education, v. 56, p. 3-8, 2013. Aroca, Rafael V. ; Burlamaqui, Aquiles F. ; Gonalves, Luiz M. G. . Method for Reading Sensors and Controlling Actuators Using Audio Interfaces of Mobile Devices. Sensors (Basel), v. 12, p. 1572-1593, 2012. MELO, J. C. P. ; AZEVEDO, S. ; LEITE, Luiz Eduardo Cunha ; BURLAMAQUI, A. ; DANTAS, R. R. ; GONCALVES, L. M. G. . ITV-TeleArch an architecture for enabling device telecontrol and sensor data access over IDTV systems. In: Conference on Virtual Environments, Human-Computer Interfaces and Measurement Systems, 2010, Taranto. Proceedings of VECIMS 2010. Los Alamitos: IEEE CS Press, 2010. SANTOS, E. ; AZEVEDO, S. ; DIOGENES, A. ; SANTOS, H. ; GONCALVES, L. M. G. ; BURLAMAQUI, A. ; LEITE, Luiz Eduardo Cunha . Servio de Controle e Programao para Dispositivos Remotos para

Aplicaes Interativas e Imersivas na TV Digital. In: Escola Potiguar de Computao, 2010, Mossor. Anais do EPOCA 2010. Natal: Editora da UFRN, 2010. Silva, Francisco Miguel da ; BURLAMAQUI, Aquiles Medeiros Filgueira . T-SCORM: An Extension of the SCORM Standard to Support the Project of Educational Contents for t-Learning. Creative Education, v. 03, p. 101-108, 2012. [Dissertaes de Mestrado e Teses de Doutorado Orientadas pelos Proponentes e Relacionadas ao Tema] ------------------------------------------------------------------------------------------------------------------------- JULIO CESAR PAULINO DE MELO. Using Digital Television as a Communication Channel for Real Environment Interaction. 2010. Dissertao (Mestrado em Engenharia Eltrica) - Universidade Federal do Rio Grande do Norte, . Orientador: Luiz Eduardo Cunha Leite. RAFAEL VIDAL AROCA. Plataforma robtica de baixssimo custo para robtica educacional. 2012. Tese (Doutorado em Engenharia Eltrica e de Computao) - Universidade Federal do Rio Grande do Norte, Conselho Nacional de Desenvolvimento Cientfico e Tecnolgico. Orientador: Luiz Marcos Garcia Goncalves. Ricardo Alexandre da Rocha Dias. MultiArt: Uma API para Integrao de Servios Multimidia e Robtica com Espetculos de Arte Telemtica. 2012. Dissertao (Mestrado em Engenharia Eltrica) - Universidade Federal do Rio Grande do Norte, . Orientador: Aquiles Medeiros Filgueira Burlamaqui. Rummenigge Rudson Dantas. GATE: Uma Abordagem Baseada em Middleware para Aplicaes Interperceptivas Envolvendo Mltiplos Dispositivos. 2010. Tese (Doutorado em Engenharia Eltrica e de Computao) - Universidade Federal do Rio Grande do Norte, Conselho Nacional de Desenvolvimento Cientfico e Tecnolgico. Orientador: Luiz Marcos Garcia Goncalves. Samuel Oliveira de Azevedo. Arquitetura para Aplicaes Interativas Imersivas de Televiso Digital. 2012. Tese (Doutorado em Engenharia Eltrica e de Computao) - Universidade Federal do Rio Grande do Norte, Coordenao de Aperfeioamento de Pessoal de Nvel Superior. Orientador: Luiz Marcos Garcia Goncalves. [OUTRAS REFERNCIAS RELACIONADAS] =========================== Demiralp, Cagatay, et al. "Cave and fishtank virtual-reality displays: A qualitative and quantitative comparison." Visualization and Computer Graphics, IEEE Transactions on 12.3 (2006): 323330. Fernando, Terrence, Luis Marcelino, and Prasad Wimalaratne. "Constraint-based immersive virtual environment for supporting assembly and maintenance task." Human Computer Interaction International 2001 (2001). Garau, Maia, et al. "The impact of avatar realism and eye gaze control on perceived quality of communication in a shared immersive virtual environment." Proceedings of the SIGCHI conference on Human factors in computing systems. ACM, 2003. Keefe, Daniel F., et al. "CavePainting: a fully immersive 3D artistic medium and interactive experience." Proceedings of the 2001 symposium on Interactive 3D graphics. ACM, 2001. Leigh, J.; Johnson, A.E.; Defanti, T.A.; Brown, M.; Ali, M.D.; Bailey, S.; Banerjee, P.; Benerjee, P.; Jim Chen; Curry, K.; Curtis, J.; Dech, F.; Dodds, B.; Foster, I.; Fraser, S.; Ganeshan, K.; Glen, D.; Grossman, R.; Heiland, R.; Hicks, J.; Hudson, A.D.; Imai, T.; Khan, M.A.; Kapoor, A.; Kenyon, R.V.; Kelso, J.; Kriz, R.; Hudson, A.D.; Imai, T.; Khan, M.A.; Kapoor, A.; Kenyon, R.V.; Kelso, J.; Kriz, R.; Lascara, C.; Liu, X.; Lin, Y.; Mason, T.; Millman, A.; Nobuyuki, K.; Park, K.; Parod, B.; Rajlich, P.J.; Rasmussen, M.; Rawlings, M.; Robertson, D.H.; Thongrong, S.; Stein, R.J.; Swartz, K.; Tuecke, S.; Wallach, H.; Hong Yee Wong; Wheless, G.H., "A review of tele-immersive applications in the CAVE research network," Virtual Reality, 1999. Proceedings., IEEE , vol., no., pp.180,187, 13-17 Mar 1999 doi: 10.1109/VR.1999.756949 Yuen, K. K., S. H. Choi, and X. B. Yang. "A full-immersive CAVEbased VR simulation system of forklift truck operations for safety training." Computer-Aided Design and Applications 7.2 (2010): 235-245. Objetivos Gerais: 1. Levantamento das Tecnologias e Produtos relacionados s Cavernas de Realidade Virtual 2. Projeto da Plataforma de RV 3. Construo da Plataforma de RV 4. Teste da Plataforma de RV 5. Desenvolvimento de Contedo para Plataforma de RV 6. Desenvolver mecanismos para transferncia e disseminao da tecnologia. Resultados Esperados 1. Absoro das tecnologias associadas s Cavernas Imersivas; 2. Ter uma Plataforma de Realidade Virtual para aplicao em diversos setores; 3. Desenvolver um contedo para a Plataforma de RV (Passeio virtual pelas dunas de Genipabu uma primeira opo); 4. Ter pelo menos um estudo de caso de utilizao massiva para a plataforma (Possivelmente a instalao da plataforma em um quiosque em ponto turstico na cidade)