Titulo Estágio
Geração de poesia com base em imagens
Áreas de especialidade
Sistemas Inteligentes
Local do Estágio
DEI-FCTUC
Enquadramento
Criatividade Computacional é uma subárea emergente da Inteligência Artificial que visa o desenvolvimento de sistemas computacionais com comportamentos que possam ser considerados criativos.
Destacam-se sistemas capazes de compor música, gerar arte visual, escrever humor ou poesia. Na última década, o grupo CMS do CISUC tem sido activo na área e está actualmente envolvido em dois projectos Europeus, o PROSECCO e o ConCreTe.
Um dos trabalhos em desenvolvimento no CMS é o PoeTryMe (http://poetryme.dei.uc.pt), um sistema que gera poesia de acordo com um conjunto de parâmetros, incluindo palavras que definam um domínio ou um sentimento. O PoeTryMe tem uma arquitectura flexível que o permite adaptar-se à geração de poemas com diferentes configurações, incluindo estruturas mais clássicas (pe. sonetos) ou de letras de música, escritos, actualmente, em português, espanhol ou inglês. Mas apesar de tudo, acreditamos que o potencial desta arquitectura não terá sido completamente explorado.
Objetivo
O principal objectivo desta dissertação é a geração de poesia nova, com base numa imagem. Para tal, será importante conseguir traduzir o conteúdo de uma imagem num conjunto de termos associados à mesma (cores, objectos representados, ...). Isso poderá ser feito com recurso a técnicas de visão por computador, nomeadamente o reconhecimento de cenas ou de (classes de) objectos, ou ainda a detecção de conceitos.
A solução a desenvolver deverá ser suficientemente genérica para permitir, a cada execução, a geração de poesia, com base numa imagem diferente, dada como parâmetro de entrada. Obtendo-se um conjunto de termos a partir da imagem, a arquitectura do PoeTryMe deverá ser explorada para os utilizar de forma a transmitir uma mensagem que possa ser associada à imagem, mantendo-se as características de um poema (métrica regular, rimas). Entre outros, deverá tirar-se partido da capacidade que o PoeTryMe já tem para gerar poemas com base num conjunto de termos base, relações entre eles, e formas para transmitir essas relações de forma “poética”.
Se necessário, poderão considerar-se alterações à arquitectura do PoeTryMe.
Para além da forte componente experimental do trabalho, os resultados deverão ser alvo de uma avaliação que ajude a medir os progressos. Entre outras métricas, esta avaliação poderá passar pela associação manual, por terceiros, de um conjunto de poemas a um conjunto de imagens.
Plano de Trabalhos - Semestre 1
• Estudo do estado da arte relativamente a criatividade computacional, com foco na criatividade linguística
• Estudo do estado da arte relativamente ao reconhecimento de classes de objectos e detecção de conceitos em imagens
• Familiarização com o PoeTryMe e os recursos que o compõem
• Especificação de um protótipo para o sistema
• Elaboração da proposta de dissertação
Plano de Trabalhos - Semestre 2
• Implementação do protótipo
• Experimentação e avaliação do protótipo
• Elaboração da dissertação
• Escrita de artigo científico
Condições
O local de trabalho será o laboratório de investigação do grupo CMS do CISUC onde haverá um acompanhamento regular por parte dos orientadores.
Orientador
Hugo Gonçalo Oliveira e Pedro Martins
hroliv@dei.uc.pt 📩