Análises de confiabilidade de dados e de testes de hipótese em experimentos comportamentais: desenvolvimento de ferramentas de apoio e estudos de caso

Abstract

Os testes com fármacos são fundamentais para avaliar os efeitos, a eficácia e a segurança de novos medicamentos. No entanto, os modelos comportamentais pré-clínicos, assim como outras áreas científicas, sofrem críticas crescentes quanto à reprodutibilidade devido a diversas razões metodológicas, incluindo falta de avaliação e da qualidade metrológica dos dados anotados, além de baixo poder dos testes de hipótese e indisponibilidade dos métodos e de rotinas computacionais. Mesmo as ferramentas de aprendizado de máquina, que se apresentam como substituto à avaliação humana, apresentam problemas que afetam a transferibilidade inter-laboratorial dos algoritmos, visto que dependem de anotações humanas confiáveis e sem vieses, além da sincronização entre os dados categóricos, cinemáticos e morfológicos. Neste trabalho, portanto, visou-se examinar, implementar e testar: 1) metodologias e ferramentas para avaliar a confiabilidade de dados comportamentais categóricos e 2) metodologias e ferramentas para avaliar a confiabilidade do Teste de Hipótese Nula (THN), a fim de amparar a detecção, identificação e análise de efeitos de fármacos sobre o comportamento animal. Assim, em relação ao primeiro objetivo, desenvolveu-se uma ferramenta de software para a obtenção e preparação de dados comportamentais categóricos e dados morfológicos/cinemáticos para uso em estudos comportamentais. Esta permite que o usuário conduza \"boas práticas\" experimentais (e.g. métodos \"duplo-cego\"), avaliação da confiabilidade das anotações (K de Cohen e índices auxiliares) e a produção de bancos de dados comportamentais qualificados 4 que integram dados categóricos e cinemáticos. Em relação ao segundo objetivo, examinaram-se métodos e desenvolveu-se uma ferramenta de software para a gestão de bancos de dados comportamentais e a construção de modelos matemáticos para a análise desses, incluindo os THN, Modelos Bayesianos, Modelos de Misturas Gaussianas (MMG), e Bootstrapping para a construção de estimadores frequentistas (poder dos Testes de Hipóteses). Estas foram construídas com códigos acessíveis e abertos (C++ e Python), executadas em uma plataforma de análise criada com o Jupyter Notebook, e desenvolvidas em ambiente de desenvolvimento cooperativo e descentralizado (GitHub). Além disso, foram testadas e validadas a partir do estudo de um conjunto de dados reais sobre os efeitos comportamentais de uma droga com ação antidepressiva (a fluoxetina, FLX) em ratos submetidos ao Teste do Nado Forçado (TNF). Todas as ferramentas desenvolvidas podem ser encontradas no GitHub (https://github.com/EthoWatcher), estão licenciadas com a GPLV3, e tutoriais podemser encontrados no site (https://ethowatcher.com). Em relação aos filtros de ruído eos dados cinemáticos, estes conseguiram mitigá-los. Foi apontada pela análise de concordância a necessidade de melhorias no catálogo comportamental, especialmente na categoria de natação e imobilidade dos machos e das fêmeas. Com o algoritmo de duplo cego conseguiu-se embaralhar e desembaralhar os vídeos. Ademais, revelou-se um alto erro de tipo II na análise do poder dos THN usando Bootstrap, mesmo com o grande efeito na duração da imobilidade 4 avaliado usando inferência bayesiana. Além disso, pela análise usando MMG, o tratamento com FLX faz com que os machos diminuam as posturas características, enquanto as fêmeas aumentem. O EthoWatcher OS permite a aquisição de banco de dados categóricos e morfológicos/cinemáticos sincronizados, embora enfrente desafios na gestão dos bancos, que podem ser superados com as ferramentas criadas. Seu protocolo de comunicação em XML possibilita a interação com novos módulos, como o módulo de confiabilidade. Melhorias e discussões podem ser propostas em sua plataforma. Os resultados sugerem que o EthoWatcher OS pode fomentar a adoção de boas práticas de registro e análise de dados e das estatísticas usadas, a partir do seu uso conclui-se que os THN, em conjunto com a duração do comportamento de imobilidade, não são confiáveis para análise do efeito da FLX no TNF.

Abstract: Drug testing is essential for evaluating the effects, efficacy, and safety of new medications. However, preclinical behavioral models, like other scientific areas, face growing criticism regarding reproducibility due to various methodological reasons. These include the lack of evaluation and reporting of the metrological quality of annotated data, low power of hypothesis tests, and the unavailability of computational methods and routines. Even machine learning tools, which are presented as substitutes for human evaluation, have problems affecting the inter-laboratory transferability of algorithms, require reliable and unbiased human annotations, and synchronization between categorical, kinematic, and morphological data. In this study, we examined, developed and tested methodologies and tools aimed at: 1) Assessing the reliability of categorical behavioral data; 2) Evaluating the reliability of Null Hypothesis Testing (NHT) in detecting and analyzing drug effects on animal behavior. Thus, regarding the first objective, we developed a software tool for obtaining and preparing categorical behavioral data and morphological/kinematic data for use in behavioral studies. This tool allows users to conduct experimental \"good practices\" (e.g., \"double-blind\" methods), evaluate annotation reliability (Cohen's Kappa and auxiliary indices), and produce qualified behavioral databases that integrate categorical and kinematic data. Regarding the second objective, we examined methods and developed a software tool for managing behavioral databases and constructing mathematical models for analyzing these data. These include Null Hypothesis Testing, Bayesian Models to estimate the effect size, Gaussian Mixture Models (GMM) to infer postural characteristics, and Bootstrapping, for constructing frequentist estimators to infer power of Hypothesis Tests. These tools were built using accessible and open codes (C++ and Python), executed on an analysis platform created with Jupyter Notebook, and developed in a cooperative and decentralized development environment (GitHub). The tools created were tested and validated using a real dataset on the behavioral effects of an antidepressant drug (fluoxetine, FLX) in rats subjected to the Forced Swim Test (FST). All the tools developed can be found on GitHub (https://github.com/EthoWatcher), are licensed under GPLV3, and tutorials can be found on the website (https://ethowatcher.com). The results indicate that the noise filters for kinematic data can mitigate errors caused by lighting artifacts. Concordance analysis highlighted the need for improvements in the behavioral catalog, particularly in the swimming and immobility category. The double-blind algorithm can scramble information regarding the experimental setup of videos while keeping the relationship between the original and masked video. Power analysis of the NHT, using Bootstrap, revealed a high type II error, even when the treatment has a large effect, evaluated using Bayesian inference. Additionally, GMM analysis indicated that FLX treatment decreases characteristic postures in males, while it increases them in females. EthoWatcher OS allows the acquisition of synchronized categorical and morphological/kinematic databases, although it faces challenges in database management, which can be overcome with the created tools. Its XML communication protocol enables interaction with new modules, such as the reliability module. EthoWatcher can promote the adoption of good practices for data recording and analysis, while improvements and discussions can be proposed on its decentralized development platform. Finally, the methodologies suggested could aid other studies to determine reliability of the categorical data and reliability of the predictions of the NHT. The results found in this case study suggest that NHT, combined with the duration of immobility behavior, are not reliable for analyzing the effect of FLX on FST.