Ciencia hecha con cuidado
Explicamos cómo probamos nuestros modelos y publicamos los resultados tal como son, también los que todavía no son buenos.
Cómo validamos
Validación cruzada LOSO
La validación dejando un sujeto fuera recorre todos los sujetos del conjunto de datos, entrena con el resto y prueba con el que se ha dejado fuera. Ningún dato del sujeto de prueba llega al entrenamiento, que es lo más parecido a ver a un paciente nuevo en un estudio retrospectivo.
Pruebas externas
Los resultados internos son solo la mitad de la historia, así que también probamos con cohortes que el modelo nunca ha visto. En la cohorte del Healthy Brain Network (N=321, de 5 a 17 años), Neuraxis-Child obtuvo un AUC de 0.519, que es nivel de azar. Lo publicamos aquí porque es la limitación más importante del modelo actual.
Por qué importa
Muchos artículos de EEG y ML publican rendimientos inflados con validación k-fold, que puede filtrar información de un mismo sujeto entre pliegues. LOSO da estimaciones más realistas. Probar con una cohorte independiente muestra si el modelo ha aprendido algo del trastorno o solo de un conjunto de datos.
Resultados de rendimiento
Todos los resultados salen de una validación cruzada LOSO. Son métricas preliminares de investigación, no afirmaciones sobre su rendimiento clínico.
Neuraxis-Child v1.0
Prototipo · Solo para investigaciónAUC
0.650
Exactitud equilibrada
0.595
Validación
LOSO CV
Dataset
IEEE ADHD
Rango de edad
7-12 años
Neuraxis-Adult v1.0
En revalidación · Solo para investigaciónAUC
Sin publicar
Exactitud equilibrada
Sin publicar
Validación
LOSO CV
Dataset
TDBRAIN (N=72)
Rango de edad
18-35 años
Resultados LOSO internos en la cohorte IEEE. En una cohorte externa independiente (HBN-EEG, N=321, de 5 a 17 años) Neuraxis-Child obtuvo un AUC de 0.519, que es nivel de azar. Todas las métricas son resultados preliminares de investigación. Solo para uso en investigación (RUO).
Conjuntos de datos de investigación
IEEE ADHD Dataset
Dataset completo · 7-12 añosConjunto de datos público de EEG pediátrico con diagnósticos clínicos de TDAH. Lo elegimos porque sus etiquetas son diagnósticos confirmados por clínicos (no autoinformes) y se ha usado en otros estudios publicados sobre TDAH y EEG, lo que permite comparar resultados.
TDBRAIN
Subconjunto N=72 · 18-35 añosBase de datos de EEG de todo el ciclo vital (de 5 a 89 años) de la Brainclinics Foundation, Nimega, Países Bajos (van Dijk et al., 2022). La usamos para estudiar el TDAH en adultos registrados con un equipo distinto al de los datos pediátricos. El subconjunto de 72 sujetos cubre el rango de edad del TDAH en adultos; el módulo de adultos está en revalidación.
HBN-EEG
N=321 · 5-17 años · Solo prueba externaEEG en reposo del Healthy Brain Network, 105 con TDAH y 216 controles. Se mantiene completamente separado del entrenamiento y se usa solo para comprobar si Neuraxis-Child generaliza a una cohorte nueva, reclutada en la comunidad.
Publicaciones
Estamos preparando nuestras primeras publicaciones. Las novedades se compartirán aquí y en nuestra página de LinkedIn.
Compromiso con la ciencia abierta
Toda nuestra validación usa conjuntos de datos públicos. Publicamos métricas LOSO prudentes en lugar de estimaciones k-fold optimistas, y documentamos nuestros métodos para que otros puedan revisarlos.
¿Trabajas en investigación con EEG o en neurociencia clínica?
Buscamos socios de investigación y clínicos que nos ayuden a validar SynapCore.