Titulo Estágio
Geração Automática de Perguntas de Escolha Múltipla
Áreas de especialidade
Sistemas Inteligentes
Local do Estágio
DEI / CISUC
Enquadramento
A criação de testes de avaliação faz parte da rotina de professores e formadores em geral. Por ser um processo manual, e potencialmente moroso, o desenvolvimento de ferramentas tecnológicas que o possam acelerar terá sempre um impacto positivo no seu trabalho, reservando-lhes mais tempo para funções associadas à interação e mentoria dos alunos ou formandos.
Atualmente, há um conjunto de tarefas no domínio da Inteligência Artificial e Processamento de Linguagem Natural (PLN) que, ainda que longe de resolvidas, começam a atingir uma maturidade suficiente para que se possa tirar partido delas na automatização ou, pelo menos, aceleração do processo anterior.
Entre essas tarefas encontram-se a Sumarização Automática, a Resposta Automática a Perguntas (RAP), ou Geração Automática de Perguntas (GAP).
Este trabalho foca-se na última, GAP, e na sua aplicação à análise automática de documentos formativos para a identificação de frases ou tópicos que possam ser usados na formulação de perguntas acerca dos conteúdos analisados.
Objetivo
Esta dissertação tem como principal objetivo a exploração de técnicas para GAP a partir de documentos textuais usados em atividades de formação. Para tal, será necessária uma familiarização inicial com a área de PLN e um estudo de abordagens para GAP.
As perguntas devem ser geradas a partir da análise de conteúdos textuais, e têm como objetivo a integração em testes de escolha múltipla. Ou seja, para além das perguntas propriamente ditas, será necessário identificar as suas respostas e propor opções de resposta erradas.
Apesar do bom desempenho de abordagens recentes para GAP, baseadas em redes neuronais, não devem ser esquecidas as abordagens mais tradicionais, mais facilmente interpretáveis. A escolha de opções deverá considerar a sua plausibilidade, ou seja, as elas devem ter algumas similaridades com a resposta certa, ao nível gramatical, semântico ou ambos. Ao mesmo tempo, não devem ser um sinónimo da resposta certa.
A qualidade dos resultados será sempre importante, mas o principal objetivo é a aceleração de processos, por isso é assumido que, antes de ser efetivamente usada num teste, qualquer pergunta gerada será validada ou revista por um humano.
Idealmente, as abordagens desenvolvidas deverão funcionar para inglês e para português. No entanto, por se tratarem de línguas diferentes, adaptações poderão ser necessárias, principalmente nas abordagens mais simbólicas / tradicionais. No caso do inglês, o trabalho poderá ser simplificado pela reutilização de dados ou modelos já disponíveis e adaptáveis ao problema. Por outro lado, para português, os recursos disponíveis são mais escassos. Por isso, é nesta língua onde acreditamos que possam surgir contribuições científicas mais relevantes, quer ao nível da criação de novos modelos e da sua aplicação, mas também na criação de novos dados relacionados com o problema.
Plano de Trabalhos - Semestre 1
- Revisão da literatura.
- Identificação e familiarização com ferramentas úteis ao trabalho.
- Identificação de dados usar no treino e validação dos modelos.
- Análise de requisitos.
- Elaboração da proposta de dissertação.
Plano de Trabalhos - Semestre 2
- Experimentação.
- Implementação de soluções.
- Avaliação das abordagens propostas.
- Elaboração da dissertação de mestrado.
- Escrita de artigo científico.
Condições
O local de trabalho será num laboratório do CISUC, no DEI, onde haverá um acompanhamento regular por parte do orientador.
O trabalho será integrado num projeto de investigação em co-promoção, no âmbito do qual o estudante se poderá candidatar a uma bolsa de investigação para licenciado, durante um período de 6 meses renovável, no valor de 835€ / mês.
Observações
Durante a fase de candidatura, dúvidas relacionadas com esta proposta, nomeadamente acerca dos objectivos e condições, devem ser esclarecidas com os orientadores, através de e-mail (hroliv@dei.uc.pt) ou de uma reunião, a marcar após um contacto por e-mail.
Orientador
Hugo Gonçalo Oliveira (CISUC) e Hugo Amaro (IPN)
hroliv@dei.uc.pt 📩