Exactitude de SomniSense : qu’a-t-on mesuré ?

Le problème du chiffre unique

Un unique pourcentage arrondi de « précision » reste incomplet tant qu'on ne demande pas : précis pour quoi, sur quelle population et face à quelles étiquettes de référence ? La classification des segments de ronflement, celle des fenêtres respiratoires, les limites des événements en production et l'indice d'une nuit entière sont des questions différentes, fondées sur des preuves différentes.

SomniSense décompose la précision en plusieurs chiffres, chacun lié à une question précise. Aucun benchmark ne raconte à lui seul toute l'histoire du produit.

Deux indices, une app — pourquoi les chiffres de validation sont séparés ainsi

SomniSense produit chaque nuit deux indices définis par le produit. Les benchmarks des modèles sous-jacents évaluent des tâches différentes :

• Le BRI est un taux de candidats propre au produit. Paper E rapporte 88.49% d’exactitude et 88.06% de F1 pour des fenêtres de 200 secondes (2953 au total ; une graine). Pruned+FT+QAT a 9416 paramètres et occupe 56.4 KB ; la configuration distincte CoreML Pruned+FT donne 0.064 ms par passage avant sur Apple M2, hors traitements audio en amont et aval (200 appels, 20 de préchauffage).
• SRI (Snoring Rate Index) — événements de ronflement par heure. Le benchmark sous-jacent des événements de ronflement de 1 seconde indique 91.67% de sensibilité et 89.01% de précision.

BRI et SRI sont tous deux des indices de bien-être définis par le produit. BRI n'est pas AHI, et le benchmark de classification des fenêtres ne valide pas indépendamment chaque événement utilisé pour assembler un indice nocturne.

Ce que mesure notre recherche et ce que fait réellement BRI

Trois choses distinctes sont souvent confondues. Nous veillons à ne pas les mélanger :

• Classification des fenêtres (ce que valide Paper E). À partir d'une fenêtre étiquetée de 200 secondes d'audio au chevet, le modèle la classe comme normale ou comme apnée ou hypopnée. Benchmark de production : 88.49% d'exactitude et 88.06% de F1.
• BRI par nuit (ce que l'app indique chaque matin). L'app agrège les événements candidats en production sur toute la session : BRI = événements candidats d'irrégularité respiratoire / heures de sommeil estimées. C'est un taux acoustique défini par le produit, pas un AHI clinique.
• Diagnostic de l’apnée obstructive du sommeil — il relève d’un professionnel de santé, pas de SomniSense. Le professionnel choisit les examens appropriés, comme une polysomnographie ou un examen à domicile lorsque celui-ci convient, puis interprète les résultats avec les symptômes et les antécédents. Le BRI ne pose pas ce diagnostic.

Le début, la fin et la durée des événements, le libellé produit, le BRI nocturne et les tendances personnelles sont des sorties de production. Elles ne doivent pas être présentées comme indépendamment validées par le résultat sur les fenêtres de 200 secondes, sauf si une analyse publiée distincte évalue cette sortie exacte.

Les chiffres de benchmark que nous publions réellement

Le corpus de recherche comprend 80 nuits PSG appariées auprès de 40 participants (10 en laboratoire + 70 PSG ambulatoires avec canule de débit nasal). Consultez les preprints liés pour savoir quel sous-ensemble, quelles étiquettes et quelle procédure d'évaluation s'appliquent à chaque métrique annoncée.

Les articles décrivent des annotations de référence issues de la PSG. Ils ne documentent ni cotation en aveugle ni évaluation clinique prospective indépendante.

Comment nous avons testé (la méthode, simplement)

Illustration, et non données d’étude. L’échantillon est décrit dans le texte.

Paper A étudie rétrospectivement une classification selon des annotations PSG ; Paper E évalue la compression sur des caractéristiques dérivées. Ces travaux n’établissent pas une performance de dépistage clinique.

Plus précisément :

• Échantillon : 80 nuits-personnes, 40 participants, dont 10 nuits de PSG en laboratoire et 70 de PSG ambulatoire. Aucune évaluation systématique par groupe démographique n’est fournie.
• Les enregistrements utilisent différents microphones de téléphones et tablettes grand public et différents environnements. Les articles n’établissent ni performance par appareil ni distance fixe d’enregistrement.
• Référence : audio associé à des annotations d’événements PSG. Les sources ne précisent pas la certification des évaluateurs ni la procédure d’aveugle.
• Comparaisons publiées : métriques de classification propres aux segments de ronflement et aux fenêtres respiratoires. Les limites des événements en production et les indices nocturnes exigent leur propre évaluation et n'héritent pas silencieusement de ces résultats.

L'algorithme de détection des événements respiratoires repose sur des années de recherche de notre fondateur sur l'apnée du sommeil. La version qui alimente SomniSense a été réentraînée à partir de zéro et reconstruite pour SomniAI LLC afin de traiter spécifiquement l'audio des smartphones — microphone, distance et contexte acoustique différents du matériel clinique. Trois preprints complémentaires documentent la méthode en intégralité : le preprint sur les références en cascade (bootstrap sur plusieurs initialisations aléatoires), celui sur l'architecture Coordinate-Attention 1D (réduction de 93.2% des paramètres) et celui sur la compression sur l'appareil (inférence de 0.064 ms sur Apple Neural Engine). Tous sont publiés ouvertement sur Zenodo avec des DOI citables (cs.LG, eess.AS). Pour comprendre l'articulation du système en deux étapes et voir l'ensemble des preprints, consultez le programme de recherche. Le centre technique complet — architecture approfondie, SDK et licences pour les partenaires matériels et cliniques — se trouve sur apneasense.com/research.

Des limites exposées honnêtement

Voici ce que nous ignorons encore et ce que je voudrais savoir si j'étais l'utilisateur :

• La cohorte ne représente pas tout le monde. Les performances pour une personne ou une population sous-représentée peuvent différer ; nous ne supposons pas que le résultat agrégé publié soit prudent pour une personne donnée.
• L'environnement acoustique compte. Si votre chambre possède des propriétés acoustiques inhabituelles — surfaces dures, partenaire ronflant plus fort que vous ou ventilateur soufflant directement vers le téléphone —, le modèle peut détecter moins de vos événements. L'article méthodologique décrit les conditions testées.
• Les sorties de production nécessitent une validation propre à chaque sortie. Un benchmark de fenêtres ne peut pas établir l'exactitude de chaque limite, durée, libellé, valeur BRI ou tendance affichés dans l'app.
• Non validé pour les moins de 18 ans. La cohorte ne comprenait que des adultes.
• Des preprints, pas encore évalués par les pairs. Trois preprints complémentaires sont publiés ouvertement sur Zenodo avec des DOI citables ; la publication dans une revue à comité de lecture est un processus distinct qui sera indiqué ici lorsqu'il sera achevé.

Ce que ce n'est pas

• SomniSense ne diagnostique ni ne dépiste le SAOS. L’évaluation clinique peut inclure une PSG ou un examen à domicile adapté. L’app n’est pas validée pour les moins de 18 ans.
• Pas une garantie personnelle. Vos résultats peuvent différer des moyennes de la population. Lisez l'article méthodologique pour savoir si votre situation se trouve dans ou hors de la distribution.
• Pas un substitut à une étude du sommeil. N'appliquez pas les seuils cliniques d'AHI au BRI. Les symptômes ou inquiétudes méritent une évaluation professionnelle, quelle que soit la valeur indiquée par l'app.

Vous ignorez si c'est votre problème ? Commencez par un symptôme

Si vous êtes ici pour vérifier les preuves avant de faire confiance à l'app, l'autre porte d'entrée est ce que vous ressentez réellement. Chaque page explique le schéma respiratoire derrière le symptôme et la conduite à tenir :

• → Se réveiller en haletant ou en suffoquant
• → Rester fatigué après huit heures complètes
• → Ronflements bruyants
• → Maux de tête matinaux