¿Qué precisión tiene realmente un teléfono para esto?

Es razonable ser escéptico. Un estudio clínico del sueño utiliza varios sensores, por ejemplo, flujo de aire, oxígeno, movimiento del pecho y ondas cerebrales. SomniSense utiliza un solo micrófono del teléfono en la mesita, a unos 1.5–3 pies (50–90 cm) de su cabeza, conforme a las indicaciones de colocación compatibles. Por eso, cuando alguien me pregunta «¿qué precisión puede tener eso?», creo que hace la pregunta correcta.

La respuesta honesta depende de la tarea. Un modelo de micrófono puede evaluarse para una tarea de clasificación acústica definida, mientras que PSG mide señales fisiológicas para su interpretación clínica. Son trabajos distintos, así que un solo número no puede describir todo el producto.

Por qué una cifra de precisión necesita una tarea concreta

Un porcentaje alto está incompleto si no dice precisión en qué. Clasificar un segmento de ronquido de 1 segundo, clasificar una ventana respiratoria etiquetada de 200 segundos y producir un resumen del producto de toda la noche son tareas distintas. La evidencia de una no debe trasladarse a otra.

Las dos cifras que de verdad importan tiran en direcciones opuestas:

• Sensibilidad: de las anotaciones de referencia del conjunto de evaluación, ¿cuántas detectó el modelo?
• Precisión: de las detecciones del modelo en ese conjunto, ¿cuántas coincidieron con una anotación de referencia?

La sensibilidad y la precisión pueden moverse en direcciones distintas. Publicar ambas ayuda a entender el equilibrio sin tratar una única métrica combinada como una descripción completa.

Cuáles son realmente nuestras cifras

En términos claros: para la detección de eventos de ronquido de 1 segundo, las medias de cinco semillas son 91.67% de sensibilidad y 89.01% de precisión. Para ventanas de eventos respiratorios de 200 segundos, el modelo comprimido comunica 88.49% de exactitud y 88.06% de F1. Son referencias de clasificación de una cohorte de investigación, no una garantía de precisión personal para su SRI o BRI de esta noche.

No voy a desglosar aquí cada cifra porque requiere una lectura más larga y cuidadosa, y prefiero que la tenga completa y no en un resumen de blog. La versión cifra por cifra está en la página de precisión; el diseño del estudio y el modelo que hay detrás —cómo un teléfono llega a esas cifras— están en la página de investigación.

La parte honesta: dónde es más débil

El rendimiento en producción puede variar con la colocación del teléfono, el ruido de la habitación, el micrófono, los sonidos de la pareja y los patrones próximos a un límite de decisión. La referencia publicada de ventanas de 200 segundos no establece una garantía unilateral para el BRI de una persona.

El ruido, otra persona que duerme, un ventilador cerca del micrófono y las edades no admitidas pueden afectar al ajuste entre una referencia y una noche personal. La cohorte publicada era adulta; SomniSense no está destinado a menores de 18 años.