65ª Reunião Anual da SBPC

A. Ciências Exatas e da Terra - 2. Ciência da Computação - 17. Ciência da Computação

COMPUTAÇÃO POR GESTOS UTILIZANDO O KINECT^TM

Rodrigo de Almeida Garcia - Centro Universitário FIEO - UNIFIEO
Roberta d' Almeida Martins - Centro Universitário FIEO - UNIFIEO
Patricia Alves dos Santos - Centro Universitário FIEO - UNIFIEO
Leonardo Henrrique Ferreira - Centro Universitário FIEO - UNIFIEO
Rodrigo Pedroso de Barros - Centro Universitário FIEO - UNIFIEO
Andreia Cristina Grisolio Machion - Profa.Dra./ Orientadora - Centro Universitário FIEO - UNIFIEO

INTRODUÇÃO:

Neste projeto, foi desenvolvido o Kimove um aplicativo de interação homem - máquina que mapeia alguns gestos humanos e os converte em eventos de mouse e teclado para manipular apresentações de slides do tipo Power-Point®.
Foi utilizado o dispositivo Kinect^TM para tornar isso possível. Inicialmente criado para jogos, hoje pode ser utilizado para diferentes finalidades.
Atualmente, vários equipamentos que foram desenvolvidos para determinados objetivos, vêm sendo utilizados para executar tarefas do cotidiano. Com os jogos eletrônicos não é diferente, muitos dispositivos desse tipo também estão sendo usados para resolver tarefas do dia-a-dia das pessoas.
Na metade do ano de 2011 foi liberado pela Microsoft®, um kit de desenvolvimento de sistemas (SDK), que permite a criação de aplicações para o conjunto de sensores de infravermelho e imagens fabricado por ela mesma, o Kinect^TM. Analisando essa tecnologia, pensou-se no desenvolvimento de uma ferramenta interativa que facilitasse a dinâmica dos slides em uma apresentação.
Foi utilizado também o conceito de “gameficação”, ou funware, que é o uso da mecânica de jogos em aplicações que não são games com o objetivo de tornar atividades desinteressantes e cansativas em algo mais divertido e atrativo.

OBJETIVO DO TRABALHO:

Criar um software capaz de interpretar gestos humanos e convertê-los em eventos de mouse e teclado para interagir com aplicativos de computador como, por exemplo, o PowerPoint®. Analisar o funcionamento do Kinect^TM para entendimento das suas funcionalidades e investigar com imagens são capturadas, como podem ser interpretados os gestos e quais são as limitações do dispositivo.

MÉTODOS:

Para a realização desse projeto, houve a necessidade de uma pesquisa aprofundada sobre o conjunto de sensores de som e imagem, chamado Kinect^TM, o sensor de movimentos desenvolvido para a nova geração de consoles para videogames Xbox 360^TM da Microsoft®. Foi preciso elaborar um estudo sobre o funcionamento do aparelho para desenvolver a aplicação, quais linguagens utilizar, como é o seu funcionamento interno, etc.
Conhecendo o dispositivo, verificou-se que o projeto seria desenvolvido em duas linguagens de programação: C# e Java. A primeira, necessária por ser a linguagem que se comunica com o aparelho e a segunda foi utilizada para a criação de um ambiente servidor multiplataformas.
As ferramentas utilizadas no desenvolvimento deste trabalho foram: o Visual Studio®, Netbeans®, Kinect^TM, uma plataforma Windows® e uma plataforma MacOS, PowerPoint®, SDKs e Java Robot, sendo que algumas compõem a plataforma de desenvolvimento e outros são os equipamentos utilizados.

RESULTADOS E DISCUSSÃO:

Inicialmente, o objetivo era implantar movimentos intuitivos para efetuar comandos básicos no PowerPoint®, como o avançar e o retroceder de slides. Com o avanço do projeto, foi constatada a necessidade de mais gestos, a fim de melhorar a usabilidade e tornar a aplicação mais completa. Entre esses comandos estão o clique, como alternativa para avançar um slide; o full screen, para deixar uma apresentação em modo tela cheia; o escape, utilizado para finalizar a apresentação de slides saindo do modo full screen; o pause, para suspender a aplicação, ação necessária para que o usuário tenha liberdade de movimentos; a caneta, na qual o usuário pode escrever algo em qualquer slide; a borracha, utilizada para apagar a anotação feita em um slide; e o enter, implementado para facilitar a escolha de alguma opção na caixa de diálogo.
Com a possibilidade do computador em que a apresentação se encontra não estar próximo ao Kinect^TM, efetuou-se uma otimização na aplicação: uma arquitetura Cliente-Servidor utilizando dois computadores. Para isso, foi utilizado o conceito de telepresença, que é o “transporte” de um indivíduo de um espaço físico para outro, geralmente feito via links de telecomunicação. A telepresença é a virtualização de algo que existe fisicamente.

CONCLUSÕES:

Foi desenvolvida uma aplicação capaz de interpretar gestos humanos e convertê-los em ações de mouse e teclado de um computador. Focando em uma apresentação de PowerPoint®, foi possível mapear os atalhos mais importantes e usuais durante uma palestra.
Com o crescimento constante da tecnologia, o futuro iminente é ter o controle de aparelhos tecnológicos com gestos ou comando de voz. Pensando nisso, o Kimove (Computação por Gestos utilizando o Kinect^TM) já partilha desse futuro contribuindo para uma área didática, seja com professores, palestrantes ou até mesmo empresários.
Para trabalhos futuros é possível implementar aplicações para diversos dispositivos pelo comando de voz, interpretação da linguagem de sinais (LIBRAS), além de softwares para medicina, fisioterapia, engenharia etc.
Além de colaborar no ponto relativo ao controle de dispositivos por gestos, é importante ressaltar a contribuição aos projetos que utilizam os conceitos de “gameficação” e telepresença. O primeiro, utilizado para implementar uma mecânica utilizada em jogos, também em atividades sérias e importantes. E o segundo, utilizado para transportar virtualmente um indivíduo a outro lugar. Dois conceitos que abrem um leque de muitas opções para desenvolvimento, auxiliando no progresso das áreas de tecnologia.

Palavras-chave: Gestos, Computação, Kinect^TM.