Ce que « validé par rapport à la PSG » devrait vous apprendre.

La PSG — polysomnographie — enregistre plusieurs signaux physiologiques pour une interprétation professionnelle. Dire qu’un produit a été comparé à la PSG est incomplet si l’affirmation ne précise pas aussi la sortie, l’annotation de référence, le protocole d’étude, le jeu de données, la métrique et les limites.

Voici une liste pratique pour lire les preuves de SomniSense et d’autres comparaisons publiées.

Le mot qui porte tout le sens : « appariées »

Un protocole de comparaison solide peut utiliser des données de nuits appariées : l’appareil et la PSG enregistrent la même personne, la même nuit, au même moment. La question d’évaluation doit toujours correspondre à la sortie revendiquée. La référence de production publiée par SomniSense porte sur la classification de fenêtres étiquetées de 200 secondes, pas sur la confirmation de chaque événement clinique.

Une comparaison de moyennes entre groupes sans lien ne répond pas à la même question que des enregistrements appariés simultanés. La taille de la cohorte, le cadre, les critères d’inclusion et les groupes sous-représentés comptent aussi ; ces détails doivent donc accompagner le résultat.

Cotation de référence et insu

Une personne doit examiner la PSG et créer les annotations cliniques de référence : c’est la « cotation », réalisée par des techniciens formés. La question est : la personne chargée de la cotation savait-elle déjà ce que l’App avait indiqué ?

La cotation en insu aide à réduire le risque que la connaissance de la sortie de l’App influence les annotations de référence. Un rapport utile indique si la cotation était en insu et comment les étiquettes de référence ont été produites.

L’« accord » est un spectre, pas une case à cocher

Même avec des nuits appariées et une cotation en insu, l’« accord » n’est pas une propriété binaire. L’analyse adaptée dépend de la tâche : classification de segments, classification de fenêtres, détection d’événements ou accord de mesure.

Pour SomniSense, la référence publique de production présentée ici correspond à l’exactitude de classification et au F1 sur des fenêtres respiratoires étiquetées de 200 secondes. Il ne s’agit pas d’une affirmation Bland–Altman et elle ne doit pas être présentée comme la validation de chaque limite d’événement, du BRI nocturne ou de l’accord avec l’AHI clinique.

Comment notre étude a réellement été menée

En bref, pour confronter les faits à la liste ci-dessus : 80 nuits appariées pour 40 participants — certaines en laboratoire, la plupart à domicile avec un dispositif portable d’étude du sommeil —, des adultes avec ou sans problèmes connus de respiration pendant le sommeil, cotées par des techniciens formés par l’AASM qui ignoraient les résultats de SomniSense. Le protocole complet, la cohorte que nous n’avons pas bien représentée et les prépublications se trouvent sur la page de recherche ; les résultats détaillés sont sur la page de précision.