Titulo Estágio
Geração Automática de Perguntas de Escolha Múltipla
Local do Estágio
DEI / CISUC
Enquadramento
A criação de testes de avaliação faz parte da rotina de professores e formadores em geral. Por ser um processo manual, e potencialmente moroso, o desenvolvimento de ferramentas tecnológicas que o possam acelerar terá sempre um impacto positivo no seu trabalho, reservando-lhes mais tempo para funções associadas à interação e mentoria dos alunos ou formandos.
Atualmente, há um conjunto de tarefas no domínio da Inteligência Artificial e Processamento de Linguagem Natural (PLN) que, ainda que longe de resolvidas, começam a atingir uma maturidade suficiente para que se possa tirar partido delas na automatização ou, pelo menos, aceleração do processo anterior.
Entre essas tarefas encontram-se a Sumarização Automática, a Resposta Automática a Perguntas (RAP), ou Geração Automática de Perguntas (GAP).
Este trabalho foca-se na última, GAP, e na sua aplicação à análise automática de documentos formativos para a identificação de frases ou tópicos que possam ser usados na formulação de perguntas acerca dos conteúdos analisados.
Objetivo
Esta dissertação tem como principal objetivo a exploração de técnicas para GAP a partir de documentos textuais usados em atividades de formação. Para tal, será necessária uma familiarização inicial com a área de PLN e um estudo de abordagens para GAP.
As perguntas devem ser geradas a partir da análise de conteúdos textuais, e têm como objetivo a integração em testes de escolha múltipla. Ou seja, para além das perguntas propriamente ditas, será necessário identificar as suas respostas e propor opções de resposta erradas.
Apesar do bom desempenho de abordagens recentes para GAP, baseadas em redes neuronais, não devem ser esquecidas as abordagens mais tradicionais, mais facilmente interpretáveis. A escolha de opções deverá considerar a sua plausibilidade, ou seja, as elas devem ter algumas similaridades com a resposta certa, ao nível gramatical, semântico ou ambos. Ao mesmo tempo, não devem ser um sinónimo da resposta certa.
A qualidade dos resultados será sempre importante, mas o principal objetivo é a aceleração de processos, por isso é assumido que, antes de ser efetivamente usada num teste, qualquer pergunta gerada será validada ou revista por um humano.
Idealmente, as abordagens desenvolvidas deverão funcionar para inglês e para português. No entanto, por se tratarem de línguas diferentes, adaptações poderão ser necessárias, principalmente nas abordagens mais simbólicas / tradicionais. No caso do inglês, o trabalho poderá ser simplificado pela reutilização de dados ou modelos já disponíveis e adaptáveis ao problema. Por outro lado, para português, os recursos disponíveis são mais escassos. Por isso, é nesta língua onde acreditamos que possam surgir contribuições científicas mais relevantes, quer ao nível da criação de novos modelos e da sua aplicação, mas também na criação de novos dados relacionados com o problema.
Como referência, para treino ou avaliação dos modelos, serão explorados testes de escolha múltipla criados por humanos, alguns dos quais fornecidos por uma empresa parceira neste projeto (MindFlow). Poderá ainda tirar-se partido de corpos de textos seguidos de perguntas e respostas, existentes para o inglês (e.g., SQuAD), e alguns também português.
Plano de Trabalhos - Semestre 1
- Revisão da literatura
- Identificação e familiarização com ferramentas úteis ao trabalho
- Identificação de dados usar no treino e validação dos modelos
- Análise de requisitos
- Elaboração da proposta de dissertação.
Plano de Trabalhos - Semestre 2
- Experimentação
- Implementação de soluções
- Avaliação das abordagens propostas
- Elaboração da dissertação de mestrado.
- Escrita de artigo científico.
Condições
O local de trabalho será num laboratório do CISUC, no DEI, onde haverá um acompanhamento regular por parte do orientador.
O trabalho será integrado num projeto de investigação em co-promoção, no âmbito do qual o estudante se poderá candidatar a uma bolsa de investigação para licenciado, durante um período de 6 meses renovável, no valor de 835€ / mês.
Observações
Durante a fase de candidatura, dúvidas relacionadas com esta proposta, nomeadamente acerca dos objectivos e condições, devem ser esclarecidas com os orientadores, através de e-mail (hroliv@dei.uc.pt) ou de uma reunião, a marcar após um contacto por e-mail.
Orientador
Hugo Gonçalo Oliveira (CISUC) e Hugo Amaro (IPN)
hroliv@dei.uc.pt 📩