Titulo Estágio
Multimodal Sensor Fusion for Wireless Monitoring of Untethered Patients in Smart Beds
Áreas de especialidade
Sistemas Inteligentes
Comunicações, Serviços e Infraestruturas
Local do Estágio
Instituto de Sistemas e Robótica (ISR), Universidade de Coimbra - Pólo II
Enquadramento
Este trabalho de dissertação está inserido no projeto de investigação CMU-Portugal WoW (https://inovglintt.com/financiamento/wow/) que se foca na monitorização wireless de pacientes em camas hospitalares, dotados de biostickers (i.e., etiquetas eletrónicas com sensores de aquisição de sinais vitais) colocados de forma não intrusiva sobre a pele.
O projecto é liderado pela Glintt, um dos principais fornecedores de sistemas de informação hospitalar do país, presente em cerca de 80% dos hospitais em Portugal. Para além do Instituto de Sistemas e Robótica e da Universidade de Coimbra, o projecto conta com a colaboração do Centro Hospitalar e Universitário de Coimbra (CHUC) e do Soft Materials Lab da Carnegie Mellon University (CMU), uma das mais conceituadas universidades a nível mundial.
Objetivo
O principal objetivo deste trabalho passa assim pela implementação de métodos e algoritmos de fusão sensorial multimodal, mais especificamente, fusão de sinais vitais como temperatura, frequência cardíaca, eletrocardiograma, IMU, respiração e oximetria de pulso, a fim de identificar padrões, o que será imprescindível na classificação e deteção de mudanças do estado do paciente.
Pretende-se que o/a aluno/a estude e implemente técnicas de inteligência artificial para fusão sensorial multimodal, eventualmente baseadas em aprendizagem machine learning. O trabalho terá o intuito de validar estas técnicas para utilização na monitorização e deteção de desvios do estado do paciente em tempo real utilizando dispositivos de Edge Computing com eventual recurso a um back-end na cloud. Devido ao seu caracter inovador, o/a aluno/a deverá validar o uso das técnicas em contexto laboratorial e real no âmbito do projeto WoW, e avaliar a possibilidade de implementação das mesmas em dispositivos com limitação de recursos computacionais
O aluno irá lidar com diferentes tecnologias, standards e protocolos, tais como:
Bluetooth Low Energy 5.0 GATT para aquisição de dados de sensores embutidos no biosticker do paciente;
Troca de mensagens por WiFi MQTT entre as camas inteligentes e um gateway agregador;
Interface gráfica para visualização de dados baseada em Node.js e Websockets;
Sistema de Gestão de Base de Dados PostgreSQL de suporte ao Gateway;
Serviços AWS cloud de back-end para processamento e análise de dados de pacientes, histórico de dados;
Integração com o sistema de informação hospitalar da Glintt, através do standard de interoperabilidade FHIR.
Plano de Trabalhos - Semestre 1
• Literature review and requirements survey on relevant multimodal sensor fusion methods with focus on vital signs’ acquisition and secure solutions which can be implemented in local devices with limited resources, and/or edge computing devices.
• Familiarization with the concept of the WoW project, infrastructures, mechanisms and existing services, namely:
i. Bluetooth Low Energy 5.0 GATT for data acquisition from sensors embedded in the patient's biosticker;
ii. Exchange of messages via WiFi MQTT between smart beds and an aggregating gateway;
iii. Back-end AWS cloud services for processing and analyzing patient data and data history
• Design of an Edge Computing processing pipeline based on the work carried out within the WoW project.
• Requirement Analysis and Design of an Edge Computing processing pipeline based on the work carried out within the WoW project.
• Intermediate Report Writing
Plano de Trabalhos - Semestre 2
• Carry out a detailed performance study of a selected set of state-of-the-art “ready-to-use” techniques for multimodal sensory fusion, with a special focus on machine learning techniques.
• Implementation of a multimodal sensory fusion method to be used in the project.
• Test and compare the proposed solution with state-of-the-art techniques.
• Preliminary validation on collected datasets and tests in laboratory, hospital and/or home settings.
• Support for the WoW project's prototype(s) and experimental validation in real scenarios.
• Dissertation Writing
Condições
Esta metodologia resultará numa técnica de fusão sensorial multimodal para cuidados de saúde com comprovado desempenho, que será devidamente demonstrada pelo/a aluno/a e documentada na sua Dissertação de Mestrado.
Observações
Este trabalho de dissertação irá decorrer no Laboratório de Robótica Móvel do Instituto de Sistemas e Robótica da Universidade de Coimbra (ISR-UC).
Orientador (ISR): Doutor David Portugal, david.portugal@deec.uc.pt
Co-orientador (ISR): Fernanda Famá, fernanda.fama@isr.uc.pt
Orientador
David Portugal
david.portugal@deec.uc.pt 📩