Titulo Estágio
2018_N126 ALICE (Altice Language Interaction Conversional Engine), usando o MEO com voz recorrendo a machine learning.
Áreas de especialidade
Engenharia de Software
Sistemas de Informação
Local do Estágio
Aveiro
Enquadramento
A voz é a forma de comunicação preferencial do ser humano, é o pilar fundamental de comunicação nas sociedades, é a forma mais natural que temos para nos expressar, para exteriorizar o que pensamos. Falar com tudo o que nos rodeia é o caminho natural que temos de seguir e o mundo das máquinas, o mundo da tecnologia, terá que se adaptar a esta forma mais primária que nós usamos para comunicar.
A tecnologia de Text To Speech e Speech To Text, com recurso a machine learning, teve nos últimos anos, e em particular no último ano, uma evolução muito expressiva, permitindo atingir, com soluções comerciais na cloud, taxas de acerto muito acima dos 90% mesmo em português (de Portugal) e em ambientes ruidosos. A acompanhar esta evolução temos o processamento natural de linguagem que já se encontra num nível de evolução muito interessante. Assente nestas tecnologias de ponta, pretende-se desenvolver uma solução completa de interação por voz conversacional com um sistema de televisão interativa. A ideia é transferir algumas jornadas mais complexas num contexto de utilização de televisão para modelos de interação conversacional, nomeadamente a descoberta de conteúdos, a pesquisa, o resumo de conteúdos, entre outros que, recorrendo às tecnologias existentes, são ainda experiências muito complexas e com muitas etapas.
Uma parte significativa desta proposta de estágio consiste em dotar estes sistemas de uma matriz que inclua a modelação da língua portuguesa e simultaneamente a perceção do domínio da TV, com entidades como programas, séries, temporadas, atores, realizadores, filmes, etc. Em posse de um sistema de TTS e com a capacidade de compreender textos em linguagem natural, pretende-se também introduzir uma interface com o utilizador onde a voz faça sentido. Neste ponto, será endereçado um conjunto de temas como dar feedback visual e auditivo ao utilizador, quer do início e fim dos momentos em que está a decorrer a gravação e reconhecimento de voz, quer dos momentos em que o sistema está a processar os pedidos e a preparar resultados para mostrar.
Objetivo
O projeto ALICE pretende desenvolver uma solução completa de interação por voz conversacional com um sistema de televisão interativa, no entanto, e face à dimensão da solução, no âmbito deste estágio pretende-se endereçar apenas:
• Modelação e treino da língua portuguesa num contexto de televisão. O sistema não pode ser baseado em palavras chave (keywords), mas sim em processamento natural de linguagem, onde frases como “Procura filmes com ...”, “Pesquisa filmes por ...”, “Dá-me filmes ...”, “Filmes ...” tenham idêntica perceção por parte do sistema e sejam tratadas da mesma forma;
• Ter uma forma conversacional de interação, i.e., ser possível ter interações continuadas em que o contexto possa ser inferido do estado e possa haver continuidade;
• O sistema deve ser aberto e poder ser evoluído, apreendendo e alargando as suas áreas de competência para além do domínio da televisão e dos conteúdos multimédia;
Plano de Trabalhos - Semestre 1
• Levantamento de tecnologias de linguagem natural (identificar e comparar as soluções de linguagem natural existentes, e selecionar a plataforma tecnológica que se mostre mais eficiente para a implementação do projeto);
• Treino e Modelação (treinamento da solução identificada e adaptação para um cenário de interação por linguagem natural na plataforma de IPTV da MEO);
Plano de Trabalhos - Semestre 2
• Desenvolvimento e Implementação da solução (numa primeira fase introduziremos a componente de linguagem natural no ecossistema de pesquisa e descoberta do serviço MEO através de uma aplicação interativa desenvolvida para o efeito);
• Ensaio e otimização em utilização heterógena (nesta tarefa pretende-se desenvolver um pré-piloto em ambiente heterogéneo mas num formato mais reservado e controlado, para validar, consolidar e afinar toda a solução;
• Relatório Final;
Condições
Integrado na Bolsa de Investigação da Inova-Ria - Programa GENIUS - Integração numa equipa de I&D
Os alunos interessados deverão enviar para genius@inova-ria.pt
• Curriculum Vitae;
• Disciplinas realizadas até ao momento com médias ; simples documento eletrónico, que poderá obter no portal académico .
• média prevista de 13,5 - 14 valores (média linear entre licenciatura e mestrado);
• Indicação deáreas de interesse.
Processo de Selecção: Entrevista Inova-Ria - PROGRAMA GENIUS na qual fará parte o Orientador do projeto.
Observações
Orientador do Projeto:
Herlander Santos - HERLANDER-J-SANTOS@ALTICELABS.COM
Aspetos inovadores:Interação por Voz
Ferramentas a utilizar :Linguagem Natural, TTS, STT, Reconhecimento, IPTV;
Competências Chave requeridas:Fluência em desenvolvimento de software, preferencialmente c#
Orientador
Pedro Miguel Naia Neves
pedro-m-neves@alticelabs.com 📩