Design, implementation and evaluation of an architecture for the deployment of hybrid remote laboratories using extended reality technologies

Abstract

Laboratórios remotos surgem como uma solução para a ausência de laboratórios de ciências em escolas e universidades, permitindo a experimentação em tempo real pela Internet. No entanto, esses laboratórios enfrentam desafios, como a falta de imersão, pois as interfaces limitam a interação visual dos usuários. A integração de tecnologias de realidade estendida, incluindo realidade aumentada e virtual, pode tornar os laboratórios remotos mais imersivos. O conceito de gêmeos digitais, representações virtuais de objetos ou sistemas físicos, pode ser aplicado na educação para oferecer uma experiência de aprendizado mais rica. Embora os laboratórios remotos usem dados reais, eles carecem de imersão, enquanto a realidade estendida oferece imersão, mas geralmente com dados simulados. Gêmeos digitais combinam imersão com dados reais, mas são pouco explorados na educação. Portanto, surge a necessidade de projetar, implementar e validar uma arquitetura de referência que integre técnicas de realidade estendida em laboratórios remotos, unindo experiências imersivas com experimentação real. Esta tese busca projetar, implementar e validar uma arquitetura de referência para laboratórios remotos em realidade estendida. A pesquisa foi dividida em três etapas: estado da arte; projeto, implementação e validação técnica da arquitetura; e validação pedagógica e de experiência do usuário. Durante a etapa de estado da arte, foi realizada uma revisão sistemática da literatura, consistindo na busca de publicações relacionadas ao uso de realidade estendida em laboratórios remotos no período de 2000 a 2023. A partir desses resultados, foram elencados os requisitos e os desafios dos Laboratórios Remotos em Realidade Estendida (XRL). Com base nesses requisitos e desafios, foi projetada a arquitetura denominada Deusto XRL. Esta arquitetura foi implementada e validada tecnicamente por meio do desenvolvimento de um protótipo. O protótipo, um gêmeo digital de um laboratório remoto de pêndulo da empresa Labsland, foi chamado XRL Pendulum. Este protótipo integrava técnicas de realidade virtual ao laboratório remoto. Na fase seguinte, o XRL Pendulum foi validado com alunos de ensino médio de uma escola pública brasileira. De 150 alunos, 75 usaram o XRL Pendulum e 75 usaram o laboratório remoto de pêndulo. As ferramentas de validação foram um questionário pretest-posttest com cinco perguntas sobre pêndulos, e o questionário de experiência do usuário com laboratórios online UXQ4OL 1.0. Os resultados demonstraram que o XRL Pendulum proporcionou uma melhor experiência do usuário em relação a imersão, usabilidade e utilidade, comparado ao laboratório remoto de pêndulo. No entanto, em relação à validação pedagógica, o XRL Pendulum não teve desempenho superior. Isso pode ser atribuído ao fato de que o questionário pretest-posttest tem baixa fiabilidade, sendo necessário realizar novamente a validação pedagógica em futuros trabalhos. Para futuros trabalhos, é importante desenvolver um protótipo que valide a arquitetura em relação à sua aplicação com técnicas de realidade aumentada, já que o XRL Pendulum incorporou somente técnicas de realidade virtual. Sendo assim, esta tese projetou, implementou e validou uma arquitetura de referência para laboratórios remotos em realidade estendida, que, por seu caráter universal, pode ser facilmente replicada por outros pesquisadores e desenvolvedores em laboratórios remotos.

Abstract: Remote laboratories emerge as a solution for the lack of science laboratories in schools and universities, enabling real-time experimentation via the Internet. However, these laboratories face challenges such as a lack of immersion, as the interfaces limit users' visual interaction. The integration of extended reality technologies, including augmented and virtual reality, can make remote laboratories more immersive. The concept of digital twins, virtual representations of physical objects or systems, can be applied in education to offer a richer learning experience. Although remote laboratories use real data, they lack immersion, while extended reality offers immersion but usually with simulated data. Digital twins combine immersion with real data but are underexplored in education. Therefore, there is a need to design, implement, and validate a reference architecture that integrates extended reality techniques into remote laboratories, combining immersive experiences with real experimentation. This thesis aims to design, implement, and validate a reference architecture for remote laboratories in extended reality. The research was divided into three stages: state of the art; design, implementation, and technical validation of the architecture; and pedagogical and user experience validation. During the state of the art stage, a systematic literature review was conducted, consisting of searching for publications related to the use of extended reality in remote laboratories from 2000 to 2023. Based on these results, the requirements and challenges of Extended Reality Remote Laboratories (XRL) were listed. Based on these requirements and challenges, the architecture named Deusto XRL was designed. This architecture was implemented and technically validated through the development of a prototype. The prototype, a digital twin of a remote pendulum laboratory from the company Labsland, was called XRL Pendulum. This prototype integrated virtual reality techniques into the remote laboratory. In the next phase, the XRL Pendulum was validated with high school students from a Brazilian public school. Out of 150 students, 75 used the XRL Pendulum and 75 used the remote pendulum laboratory. The validation tools were a pretest-posttest questionnaire with five questions about pendulums and the user experience with online laboratories questionnaire UXQ4OL 1.0. The results showed that the XRL Pendulum provided a better user experience in terms of immersion, usability, and utility compared to the remote pendulum laboratory. However, regarding pedagogical validation, the XRL Pendulum did not perform better. This may be attributed to the fact that the pretest-posttest questionnaire has low reliability, requiring further pedagogical validation in future studies. For future work, it is important to develop a prototype that validates the architecture concerning its application with augmented reality techniques since the XRL Pendulum incorporated only virtual reality techniques. Thus, this thesis designed, implemented, and validated a reference architecture for remote laboratories in extended reality, which, due to its universal nature, can be easily replicated by other researchers and developers in remote laboratories.