Fusion4D

Interface Natural e Imersiva para Manipulação de Objetos 3D

Keila Keiko Matsumura, Roberto Sonnino

Voltar ao topo

O que é

Fusion4D é uma interface 3D inovadora que transmite a sensação de imersão total em uma realidade aumentada. A interface permite ao usuário interagir com os objetos virtuais 3D como se estivessem realmente em suas mãos, podendo mover, girar, aumentar, explodir em detalhes e até mesmo ver como os objetos seriam no passado e no futuro.

Seu uso é simples: o usuário só precisa usar o óculos 3D, comandos de voz e as mãos para manipular os objetos. Além disso, todo o sistema usa apenas dispositivos de baixo custo, como o Kinect, e não requer o uso de monitores especiais para a exibição da imagem 3D, ficando ao alcance de todos.

A interface foi concebida para o Projeto VIDA – Virtual Interactive Distance Learning on Anatomy, desenvolvido pelo Interlab-USP em colaboração com o LApIS da EACH/USP e LPAI/Senac.

Voltar ao topo

Como funciona

Como funciona o Fusion4D: Kinect e Óculos 3D

O Fusion4D utiliza imagens 3D e um dispositivo Kinect para detecção do esqueleto e captura de voz do usuário. Assim, para utilizar o sistema, basta colocar um par de óculos 3D e interagir com o objeto como se ele estivesse no mundo real.

O usuário interage com o sistema usando comandos de voz em inglês. Estes comandos permitem que se selecione o objeto a ser manipulado e a maneira de interagir com ele.

Comandos

O comando "grab" seleciona um objeto e permite movimentar, rotacionar ou ampliar o objeto com as mãos até que o objeto seja solto pelo comando "release".

O comando "explode" permite observar o objeto 3D em detalhes; o comando "show label" mostra uma etiqueta descritiva do objeto manipulado, e o comando "change model" permite escolher outros modelos disponíveis no sistema.

Finalmente, o comando "time" permite ver como o objeto seria no passado e no futuro movimentando a linha do tempo com uma das mãos. Se o usuário precisar de ajuda sobre o sistema, o comando "help" mostra uma lista de comandos de voz.

Voltar ao topo

Galeria

Voltar ao topo

Mais informações

Para mais informações baixe os documentos do trabalho:

Entre em contato

Créditos

Este projeto foi desenvolvido por:
Keila Keiko Matsumura
Roberto Sonnino - @robertos_br - Site

Orientador: Prof. Dr. Romero Tori - @romerotori - Site
Co-orientador: Prof. Dr. Ricardo Nakamura - @ricardojogos - Site

Modelos 3D do feto em vários estágios de gestação produzidos por Ian Muntoreanu - Site