Descrição
Sistemas de Comunicação Aumentativa e Alternativa (CAA) fornecem ferramentas que podem complementar ou substituir a fala. Sistemas de Visão Computacional viabilizam o uso de gestos para interação humano-computador. O Personal Gesture Communication Assistant (PGCA) é um sistema de Visão Computacional desenvolvido para oferecer suporte a CAA como um recurso de Tecnologia Assistiva para interação gestual personalizada, explorando alternativas que são adaptáveis e de baixo custo. Este sistema é baseado em uma metodologia de apoio a CAA, na qual gestos e seus significados são criados e configurados pelos usuários (pessoas com dificuldades motoras e de fala) e seus cuidadores. Esses gestos poderão ser utilizados posteriormente para interação com sistemas computacionais e com propósito de comunicação por meio de interação com pranchas de comunicação. O sistema PGCA captura movimentos a partir de uma webcam e realiza a classificação dos gestos por meio de algoritmos de aprendizagem de máquina.
Diferencial Tecnológico
O software PGCA viabiliza a criação de conjuntos de gestos e o reconhecimento desses gestos para interação com sistemas computacionais e com pranchas de comunicação. O sistema usa dispositivos de baixo custo, como webcam e computador pessoal, e rastreia gestos feitos com qualquer região corporal ou expressão facial. A criação de conjuntos personalizados de gestos, permite levar em consideração as habilidades e limitações do usuário ao executar movimentos, dando suporte também a outras pessoas reconhecerem esses movimentos. A principal diferença de nossa proposta em relação ao estado da arte é a possibilidade de o usuário e seu cuidador treinarem o sistema para reconhecer os gestos estipulados por eles, acrescentando adaptabilidade e flexibilidade na interação gestual com o sistema desenvolvido. Assim, sempre que o usuário apresentar alteração em suas habilidades motoras, o conjunto de dados pode ser atualizado a fim de retreinar o sistema para reconhecer os gestos executados.
Objetivos da Universidade
Transferência de Tecnologia
