Titulo Estágio
Integração Multimodal e Adaptação Linguística para o Consultor Inteligente TOSCAN
Áreas de especialidade
Sistemas Inteligentes
Engenharia de Software
Local do Estágio
Instituto Pedro Nunes, Coimbra (Laboratório de Informática e Sistemas)
Enquadramento
O projeto TOSCAN – Aconselhamento Especializado Assente em IA para Pequenos Agricultores está a desenvolver um consultor digital capaz de responder, em tempo-real, a questões sobre proteção de culturas, rega e fertilização de macieira, pereira e videira. Entre os fatores inovadores do projeto destacam-se:
• Integração multimodal (texto, voz e imagem) para interpretação de consultas;
• Adaptação linguística regional, reconhecendo sotaques e regionalismos do setor agrícola;
• Identificação automática de doenças e pragas a partir de fotografias enviadas pelos agricultores.
O Laboratório de Informática e Sistemas (IPNlis) lidera as vertentes de Inteligência Artificial e pretende acolher um(a) estagiário(a) que contribua para a componente multimodal (visão computacional) e para a adaptação linguística do sistema.
Objetivo
Desenvolver, avaliar e integrar:
1. Um sub-módulo de classificação de espécies e pragas em macieira, pereira e videira, treinado com:
a. Dados internos do projeto TOSCAN , recolhidos ao longo de anos por um dos membros do consórcio no exercer da sua atividade, que incluem dados estruturados sobre relações entre espécies, pragas e tratamentos (entre outros);
b. Conjuntos de dados públicos: PlantDoc, Plant Pathology 2020 & 2021, Indigenous Apple Leaf Disease, DiaMOS Plant e Niphad Grape Leaf Disease.
2. Protótipos de adaptação linguística regional que permitam:
a. Reconhecer termos locais na transcrição de voz (speech-to-text);
b. Ajustar a resposta escrita/falada ao vocabulário regional do utilizador.
O projeto tem já implementada uma aplicação Web que tem vindo a divulgar gradualmente, e ainda por convite, com o intuito de recolher dados de voz em língua portuguesa, em contexto de agricultura, no sentido de complementar os conjuntos de dados públicos existentes, que permitiram a validação das soluções desenvolvidas e, eventualmente, a melhoria de modelos existentes.
Este estágio, tem também como objetivo a criação de ferramentas que permitam validar e avaliar os módulos desenvolvidos, assim como a integração destes na já existente aplicação web de teste, edição e validação do sistema de conversação. Este, permite facilmente manipular e experimentar com um sistema que inclui RAG, Ferramentas e Prompt Engineering, e simular conversas com utilizadores reais.
Plano de Trabalhos - Semestre 1
F1 – Análise do estado da arte (25 %)
• Levantamento de modelos de visão computacional aplicados a fitopatologia e de técnicas modernas de adaptação linguística para LLM/STT em português europeu.
F2 – Levantamento de requisitos e design de arquitetura (25 %)
• Colaboração no levantamento de requisitos e design de arquitetura do sistema.
• Definição de métricas e seleção de ferramentas (frameworks de treino, bases de dados vetoriais, APIs).
F3 – Protótipo (40 %)
• Curadoria dos datasets públicos e dos dados recolhidos pelo consórcio.
• Treino inicial de um classificador de imagens (ex.: EfficientNet ou ConvNeXt) e criação de um léxico de regionalismos agrícolas para testes de STT/LLM.
F4 – Relatório intermédio (10 %)
• Elaboração e entrega do relatório intermédio.
Plano de Trabalhos - Semestre 2
F5 – Implementação (70 %)
• Fine-tuning do classificador com técnicas de data-augmentation específicas para sintomas foliares.
• Experimentação de abordagens de adaptação linguística: substituição automática de termos vs. prompt engineering para LLM.
• Validação e avaliação das soluções desenvolvidas para a adaptação linguística, através de dados curados recolhidos durante o projeto.
• Integração dos módulos na pipeline multimodal TOSCAN (API function calling).
F6 – Testes (20 %)
• Avaliação cruzada com agricultores-piloto e engenheiros agrónomos do parceiro AGRIS.
• Optimização de modelos, tempo de inferência (< 500 ms) e consumo de memória.
F7 – Deploy e relatório de projeto (10 %)
Documentação técnica, relatório final e apoio à preparação do piloto de campo.
Condições
Este trabalho será integrado num projeto de investigação cofinanciado, sendo que o aluno poderá candidatar-se a uma bolsa de investigação para licenciado no âmbito deste projeto, nos termos da legislação aplicável e regulamentos do IPN. O valor da bolsa é de 1040,98€, em linha com a tabela de bolsas de investigação da FCT.
Observações
Áreas de especialidade:
Visão Computacional · Processamento de Linguagem Natural · Inteligência Artificial Aplicada à Agricultura · Engenharia de Software
Datasets utilizados:
PlantDoc, Plant Pathology 2020 & 2021, Indigenous Apple Leaf Disease, DiaMOS Plant, Niphad Grape Leaf Disease, além de dados recolhidos durante o projeto TOSCAN.
Orientador
Carla Guerra Azevedo
caazevedo@ipn.pt 📩