Quelle est vraiment la précision de SomniSense ?

Le problème du chiffre unique

Un unique pourcentage arrondi de « précision » reste incomplet tant qu'on ne demande pas : précis pour quoi, sur quelle population et face à quelles étiquettes de référence ? La classification des segments de ronflement, celle des fenêtres respiratoires, les limites des événements en production et l'indice d'une nuit entière sont des questions différentes, fondées sur des preuves différentes.

SomniSense décompose la précision en plusieurs chiffres, chacun lié à une question précise. Aucun benchmark ne raconte à lui seul toute l'histoire du produit.

Deux indices, une app — pourquoi les chiffres de validation sont séparés ainsi

SomniSense produit chaque nuit deux indices définis par le produit. Les benchmarks des modèles sous-jacents évaluent des tâches différentes :

• BRI (Breathing Irregularity Index) — motifs acoustiques candidats d'irrégularité respiratoire par heure de sommeil estimée. Le benchmark de production sous-jacent indique 88.49% d'exactitude et 88.06% de F1 pour la classification de fenêtres de 200 secondes, ainsi qu'une inférence de 56.4 KB / 0.064 ms sur Apple M2 Neural Engine.
• SRI (Snoring Rate Index) — événements de ronflement par heure. Le benchmark sous-jacent des événements de ronflement de 1 seconde indique 91.67% de sensibilité et 89.01% de précision.

BRI et SRI sont tous deux des indices de bien-être définis par le produit. BRI n'est pas AHI, et le benchmark de classification des fenêtres ne valide pas indépendamment chaque événement utilisé pour assembler un indice nocturne.

Ce que mesure notre recherche et ce que fait réellement BRI

Trois choses distinctes sont souvent confondues. Nous veillons à ne pas les mélanger :

• Classification des fenêtres (ce que valide Paper E). À partir d'une fenêtre étiquetée de 200 secondes d'audio au chevet, le modèle la classe comme normale ou comme apnée ou hypopnée. Benchmark de production : 88.49% d'exactitude et 88.06% de F1.
• BRI par nuit (ce que l'app indique chaque matin). L'app agrège les événements candidats en production sur toute la session : BRI = événements candidats d'irrégularité respiratoire / heures de sommeil estimées. C'est un taux acoustique défini par le produit, pas un AHI clinique.
• Diagnostic de l'OSA (Obstructive Sleep Apnea) — ce que fait un spécialiste du sommeil, pas SomniSense. C'est un diagnostic clinique fondé sur la polysomnographie, l'évaluation des symptômes diurnes et le jugement d'un médecin. BRI est une donnée ; le diagnostic de l'OSA relève du médecin.

Le début, la fin et la durée des événements, le libellé produit, le BRI nocturne et les tendances personnelles sont des sorties de production. Elles ne doivent pas être présentées comme indépendamment validées par le résultat sur les fenêtres de 200 secondes, sauf si une analyse publiée distincte évalue cette sortie exacte.

Les chiffres de benchmark que nous publions réellement

Le corpus de recherche comprend 80 nuits PSG appariées auprès de 40 participants (10 en laboratoire + 70 PSG ambulatoires avec canule de débit nasal). Consultez les preprints liés pour savoir quel sous-ensemble, quelles étiquettes et quelle procédure d'évaluation s'appliquent à chaque métrique annoncée.

Cette dernière partie — « ils ne savaient pas ce que nous avions dit » — définit la « notation en aveugle ». Nous ne pouvons pas pré-entraîner nos évaluateurs sur nos propres réponses. Sinon, le test serait circulaire.

Comment nous avons testé (la méthode, simplement)

Les performances de détection ont été mesurées face à des enregistrements de référence PSG provenant de nuits en laboratoire et ambulatoires, avec des annotations audio réalisées par des techniciens du sommeil certifiés. Chaque segment audio qu’ils ont noté était évalué sans connaître la sortie de SomniSense. Cette séparation garantit l’indépendance de l’évaluation.

Plus précisément :

• Échantillon : 80 nuits appariées / 40 participants (smartphone + PSG simultanément) — 10 PSG en laboratoire + 70 PSG ambulatoires avec canule de débit nasal. Adultes avec et sans troubles respiratoires du sommeil diagnostiqués. Nous indiquons ouvertement les personnes sous-représentées (principalement les moins de 18 ans, les BMI extrêmement élevés ou faibles et certains groupes ethniques) au lieu de le cacher derrière un nombre agrégé. Je tiens à préciser qui ne fait pas partie de la cohorte, car une taille d'échantillon agrégée sans contexte peut être trompeuse.
• Support d'enregistrement : smartphone au chevet (divers modèles d'iPhone et d'Android depuis 2018), à 50–90 cm de la tête du participant.
• Vérité terrain : PSG avec canal audio synchronisé ; notation manuelle par des techniciens du sommeil formés selon l'AASM, sans accès à la sortie de SomniSense.
• Comparaisons publiées : métriques de classification propres aux segments de ronflement et aux fenêtres respiratoires. Les limites des événements en production et les indices nocturnes exigent leur propre évaluation et n'héritent pas silencieusement de ces résultats.

L'algorithme de détection des événements respiratoires repose sur des années de recherche de notre fondateur sur l'apnée du sommeil. La version qui alimente SomniSense a été réentraînée à partir de zéro et reconstruite pour SomniAI LLC afin de traiter spécifiquement l'audio des smartphones — microphone, distance et contexte acoustique différents du matériel clinique. Trois preprints complémentaires documentent la méthode en intégralité : le preprint sur les références en cascade (bootstrap multi-graines), celui sur l'architecture Coordinate-Attention 1D (réduction de 93.2% des paramètres) et celui sur la compression sur l'appareil (inférence de 0.064 ms sur Apple Neural Engine). Tous sont publiés ouvertement sur Zenodo avec des DOI citables (cs.LG, eess.AS). Pour comprendre l'articulation du système en deux étapes et voir l'ensemble des preprints, consultez le programme de recherche. Le centre technique complet — architecture approfondie, SDK et licences pour les partenaires matériels et cliniques — se trouve sur apneasense.com/research.

Des limites exposées honnêtement

Voici ce que nous ignorons encore et ce que je voudrais savoir si j'étais l'utilisateur :

• La cohorte ne représente pas tout le monde. Les performances pour une personne ou une population sous-représentée peuvent différer ; nous ne supposons pas que le résultat agrégé publié soit prudent pour une personne donnée.
• L'environnement acoustique compte. Si votre chambre possède des propriétés acoustiques inhabituelles — surfaces dures, partenaire ronflant plus fort que vous ou ventilateur soufflant directement vers le téléphone —, le modèle peut détecter moins de vos événements. L'article méthodologique décrit les conditions testées.
• Les sorties de production nécessitent une validation propre à chaque sortie. Un benchmark de fenêtres ne peut pas établir l'exactitude de chaque limite, durée, libellé, valeur BRI ou tendance affichés dans l'app.
• Non validé pour les moins de 18 ans. La cohorte ne comprenait que des adultes.
• Des preprints, pas encore évalués par les pairs. Trois preprints complémentaires sont publiés ouvertement sur Zenodo avec des DOI citables ; la publication dans une revue à comité de lecture est un processus distinct qui sera indiqué ici lorsqu'il sera achevé.

Ce que ce n'est pas

• Pas une affirmation diagnostique. Même avec ces chiffres, SomniSense n'est pas un dispositif médical et ne diagnostique pas l'apnée obstructive du sommeil (OSA). Le diagnostic de l'OSA exige une polysomnographie, l'évaluation des symptômes et le jugement d'un spécialiste du sommeil. SomniSense n'est pas validé pour les utilisateurs de moins de 18 ans.
• Pas une garantie personnelle. Vos résultats peuvent différer des moyennes de la population. Lisez l'article méthodologique pour savoir si votre situation se trouve dans ou hors de la distribution.
• Pas un substitut à une étude du sommeil. N'appliquez pas les seuils cliniques d'AHI au BRI. Les symptômes ou inquiétudes méritent une évaluation professionnelle, quelle que soit la valeur indiquée par l'app.

Vous ignorez si c'est votre problème ? Commencez par un symptôme

Si vous êtes ici pour vérifier les preuves avant de faire confiance à l'app, l'autre porte d'entrée est ce que vous ressentez réellement. Chaque page explique le schéma respiratoire derrière le symptôme et la conduite à tenir :

• → Se réveiller en haletant ou en suffoquant
• → Rester fatigué après huit heures complètes
• → Ronflements bruyants
• → Maux de tête matinaux