VALIDIERTE GENAUIGKEIT · OFFENE METHODIK
Wie genau ist SomniSense — wirklich?
Eine einzelne gerundete Genauigkeitszahl verbirgt die Aufgabe. Wir veröffentlichen getrennte Ergebnisse für gekennzeichnete 1-Sekunden-Schnarchsegmente und gekennzeichnete 200-Sekunden-Atemfenster sowie Modellgröße und Latenz auf dem Gerät. Produktionsereignisgrenzen, nächtliche Indizes und persönliche Trends übernehmen diese Benchmark-Ergebnisse nicht.
WHAT SOMNISENSE ADDS
Verbinden Sie den Benchmark mit der Produktausgabe, die er stützt — und mit der, die er nicht stützt.
Der echte SomniSense-App-Bildschirm zeigt ein überprüfbares Evidenzobjekt der aktuellen App: modellgeschätzter Kandidatentyp, Zeit und Dauer, markierte Wellenform, verfügbares Audio und Position in der gesamten Nacht. Das veröffentlichte Ergebnis für 200-Sekunden-Fenster stützt seine eigene Klassifikationsaufgabe; es validiert nicht unabhängig die Grenze oder Dauer jedes in der App ausgegebenen Ereignisses, den persönlichen BRI oder eine Diagnose.
- Candidate pause-like or shallow-breathing-like type, time, and model-estimated duration
- The marked waveform region and locally available audio for review
- Whole-night position, followed across nights in recent comparisons and structured reports
Phone audio is a limited wellness signal. Candidate regions are not clinical apnea events, AHI, oxygen measurements, airway-source findings, or a diagnosis.
Warum die Aufgabendefinition zuerst kommt
Die aktuelle Forschung ist als offener Preprint verfügbar und hat die Begutachtung durch Fachkollegen noch nicht abgeschlossen. Jede hervorgehobene Zahl gehört zu einer bestimmten gekennzeichneten Aufgabe, einem Datensatz und einem Bewertungsverfahren.
Daher nennen wir die Aufgabe direkt neben der Metrik und übertragen ein Benchmark-Ergebnis nicht auf Ereignisgrenzen, Dauern, Produktkennzeichnungen, einzelne Schlafzimmer oder klinische Diagnosen. Ändert eine spätere Begutachtung oder erweiterte Validierung ein Ergebnis, wird diese Seite aktualisiert.
Das Problem einer einzigen Zahl
Ein einzelner gerundeter Prozentsatz für „genau“ ist unvollständig, bis Sie fragen: genau bei was, in welcher Population und gegenüber welchen Referenzkennzeichnungen? Schnarchsegmentklassifikation, Atemfensterklassifikation, Produktionsereignisgrenzen und ein Index für die ganze Nacht sind verschiedene Fragen mit unterschiedlicher Evidenz.
SomniSense unterteilt Genauigkeit in mehrere Zahlen, die jeweils an eine konkrete Frage gebunden sind. Kein einzelner Benchmark erzählt die gesamte Produktgeschichte.
Zwei Indizes, eine App — und warum die Validierungszahlen so getrennt sind
SomniSense erzeugt jede Nacht zwei produktdefinierte Indizes. Die zugrunde liegenden Modellbenchmarks bewerten verschiedene Aufgaben:
- BRI (Breathing Irregularity Index) — akustische Kandidatenmuster für Atemunregelmäßigkeiten pro geschätzter Schlafstunde. Der zugrunde liegende Produktionsbenchmark berichtet 88.49% Genauigkeit und 88.06% F1 für die Klassifikation von 200-Sekunden-Fenstern sowie eine Inferenz von 56.4 KB / 0.064 ms auf der Apple M2 Neural Engine.
- SRI (Snoring Rate Index) — Schnarchereignisse pro Stunde. Der zugrunde liegende Benchmark für 1-Sekunden-Schnarchereignisse berichtet 91.67% Sensitivität und 89.01% Präzision.
BRI und SRI sind beide produktdefinierte Wellness-Indizes. BRI ist nicht AHI, und der Benchmark zur Fensterklassifikation validiert nicht unabhängig jedes Ereignis, aus dem ein nächtlicher Index zusammengesetzt wird.
Was unsere Forschung misst und was BRI tatsächlich tut
Drei verschiedene Dinge werden oft vermischt. Wir versuchen, sie auseinanderzuhalten:
- Fensterklassifikation (was Paper E validiert). Ein gekennzeichnetes 200-Sekunden-Fenster mit Nachttisch-Audio wird vom Modell als normal oder als Apnoe oder Hypopnoe klassifiziert. Produktionsbenchmark: 88.49% Genauigkeit und 88.06% F1.
- BRI pro Nacht (was die App jeden Morgen berichtet). Die App aggregiert Kandidatenereignisse der Produktion über die Sitzung:
BRI = Kandidatenereignisse für Atemunregelmäßigkeiten / geschätzte Schlafstunden. Dies ist eine produktdefinierte akustische Rate, kein klinischer AHI. - OSA-Diagnose (Obstructive Sleep Apnea) — was eine Schlafmedizinerin oder ein Schlafmediziner tut, nicht SomniSense. Eine klinische Diagnose auf Grundlage von Polysomnographie, Bewertung der Tagessymptome und ärztlichem Urteil. BRI sind Daten; die OSA-Diagnose ist ärztliche Entscheidung.
Ereignisbeginn, Ereignisende, Dauer, Produktkennzeichnung, nächtlicher BRI und persönliche Trends sind Ausgaben der aktuellen App. Sie sollten nicht als durch das 200-Sekunden-Fensterergebnis unabhängig validiert beschrieben werden, sofern keine separate veröffentlichte Analyse genau diese App-Ausgabe bewertet.
Die Benchmark-Zahlen, die wir tatsächlich veröffentlichen
| Die Frage | Die Zahl | Was sie bedeutet |
|---|---|---|
| Wie viele der gekennzeichneten Schnarchsegmente hat der Detektor erfasst? | 91.67% | Sensitivität (Recall) für Schnarchereignisse in 1-Sekunden-Segmenten; Mittelwert aus fünf Seeds. |
| Wie oft lag der Detektor richtig, wenn er ein Schnarchsegment markierte? | 89.01% | Präzision für Schnarchereignisse in 1-Sekunden-Segmenten; Mittelwert aus fünf Seeds. |
| Wie oft klassifizierte das komprimierte Atemmodell ein gekennzeichnetes Fenster korrekt? | 88.49% | Genauigkeit des Produktionsbenchmarks für die Klassifikation normal gegenüber Apnoe oder Hypopnoe in 200-Sekunden-Fenstern. |
| Wie ausgewogen war die Leistung der Atemfenster über die Klassen hinweg? | 88.06% | F1 für denselben komprimierten Produktionsbenchmark. Paper E veröffentlicht kein Paar aus Produktionssensitivität und -präzision; daher leiten wir keines ab. |
Der Forschungskorpus umfasst 80 gekoppelte PSG-Nächte von 40 Teilnehmenden (10 im Labor + 70 ambulante PSG mit Nasenflusskanüle). Den verlinkten Preprints können Sie entnehmen, welche Teilmenge, Kennzeichnungen und Bewertungsverfahren für die jeweilige berichtete Metrik gelten.
Der letzte Teil — „sie wussten nicht, was wir gesagt hatten“ — bedeutet „verblindete Bewertung“. Wir dürfen unsere Bewertenden nicht vorab mit unseren eigenen Antworten trainieren. Sonst wäre der Test zirkulär.
Wie wir getestet haben (die Methodik, verständlich)
Die Erkennungsleistung wurde anhand von PSG-Referenzaufzeichnungen aus Nächten im Labor und ambulanten Nächten gemessen; die Audioannotationen stammten von zertifizierten Schlaftechnikerinnen und -technikern. Bei jedem bewerteten Audiosegment war die SomniSense-Ausgabe verblindet. Diese Trennung hält die Bewertung unabhängig.
Konkret:
- Stichprobe: 80 gekoppelte Nächte / 40 Teilnehmende (Smartphone + PSG gleichzeitig) — 10 PSG im Labor + 70 ambulante PSG mit Nasenflusskanüle. Erwachsene mit und ohne diagnostizierte schlafbezogene Atemprobleme. Wir nennen offen, wer unterrepräsentiert ist (vor allem unter 18-Jährige, starke BMI-Extremwerte und bestimmte ethnische Gruppen), statt dies hinter einer aggregierten Zahl zu verbergen. Ich möchte konkret angeben, wer nicht in der Kohorte vertreten ist, weil eine aggregierte Stichprobengröße ohne Kontext irreführend sein kann.
- Aufnahmemedium: Smartphone am Bett (verschiedene iPhone- und Android-Modelle ab 2018), 50–90 cm vom Kopf der teilnehmenden Person entfernt.
- Referenzstandard: PSG mit synchronisiertem Audiokanal; manuelle Bewertung durch nach AASM geschulte Schlaftechnikerinnen und -techniker, verblindet gegenüber der SomniSense-Ausgabe.
- Veröffentlichte Vergleiche: aufgabenspezifische Metriken für Schnarchsegment- und Atemfensterklassifikation. Produktionsereignisgrenzen und nächtliche Indizes benötigen eigene Bewertungen und übernehmen diese Ergebnisse nicht stillschweigend.
Der Algorithmus zur Erkennung von Atemereignissen baut auf der jahrelangen Schlafapnoe-Forschung unseres Gründers auf. Die in SomniSense eingesetzte Version wurde von Grund auf neu trainiert und für SomniAI LLC speziell für Smartphone-Audio neu entwickelt — anderes Mikrofon, anderer Abstand und anderer akustischer Kontext als bei klinischer Hardware. Drei begleitende Preprints dokumentieren die Methodik vollständig: der Preprint zu kaskadierten Baselines (Multi-Seed-bootstrap), der Preprint zur Coordinate-Attention 1D-Architektur (93.2% weniger Parameter) und der Preprint zur Kompression auf dem Gerät (0.064 ms Inferenz auf Apple Neural Engine). Alle sind offen auf Zenodo mit zitierfähigen DOIs veröffentlicht (cs.LG, eess.AS). Wie das zweistufige System zusammenspielt und das gesamte Preprint-Portfolio finden Sie im Forschungsprogramm. Der vollständige technische Hub — Architektur im Detail, SDK und Lizenzierung für Hardware- und klinische Partner — befindet sich auf apneasense.com/research.
Ehrliche Grenzen
Folgendes wissen wir noch nicht — und ich würde es als Nutzer wissen wollen:
- Die Kohorte repräsentiert nicht alle Menschen. Die Leistung für Einzelpersonen oder eine unterrepräsentierte Population kann abweichen; wir nehmen nicht an, dass das veröffentlichte Gesamtergebnis für eine bestimmte Person konservativ ist.
- Die akustische Umgebung ist wichtig. Hat Ihr Schlafzimmer ungewöhnliche akustische Eigenschaften — harte Oberflächen, einen lauter schnarchenden Partner oder einen direkt auf das Smartphone gerichteten Ventilator —, kann das Modell weniger Ihrer Ereignisse erfassen. Das Methodenpapier dokumentiert die getesteten Bedingungen.
- Jede Ausgabe der aktuellen App benötigt eine eigene Validierung. Ein Fensterbenchmark kann nicht die Genauigkeit jeder in der App gezeigten Ereignisgrenze, Dauer, Kennzeichnung, jedes BRI-Werts oder Trends belegen.
- Nicht für unter 18-Jährige validiert. Die Kohorte umfasste nur Erwachsene.
- Preprints, noch nicht begutachtet. Drei begleitende Preprints sind offen auf Zenodo mit zitierfähigen DOIs veröffentlicht; eine Publikation in einer begutachteten Fachzeitschrift ist ein separater Prozess und wird nach Abschluss auf dieser Seite vermerkt.
Was dies nicht ist
- Keine diagnostische Aussage. Auch bei diesen Zahlen ist SomniSense kein Medizinprodukt und diagnostiziert keine obstruktive Schlafapnoe (OSA). Eine OSA-Diagnose erfordert Polysomnographie, Symptombewertung und das Urteil einer schlafmedizinischen Fachperson. SomniSense ist nicht für Nutzende unter 18 validiert.
- Keine persönliche Garantie. Ihre konkreten Ergebnisse können von Bevölkerungsdurchschnitten abweichen. Lesen Sie das Methodenpapier, um zu erkennen, ob Ihr Szenario innerhalb oder außerhalb der Verteilung liegt.
- Kein Ersatz für eine Schlafuntersuchung. Wenden Sie klinische AHI-Schwellenwerte nicht auf BRI an. Symptome oder Sorgen verdienen unabhängig vom App-Wert eine professionelle Abklärung.
Unsicher, ob dies Ihr Problem ist? Bei einem Symptom beginnen
Wenn Sie die Evidenz prüfen möchten, bevor Sie der App vertrauen, führt ein anderer Einstieg über das, was Sie tatsächlich spüren. Jede Seite erläutert das Atemmuster hinter dem Symptom und mögliche nächste Schritte:
Wenn Ihnen dieses Evidenzniveau genügt
Free behält die wesentlichen Kandidatenhinweise der ersten Nacht, 5 Audiowiedergaben pro Nacht und einen aktuellen 7-Tage-Trend. Pro ergänzt Kontinuität, nicht das grundlegende Recht, die erste Nacht zu prüfen. Kaufdetails finden Sie auf der Preisseite.
Mit Free beginnen Jeden Benchmark und seine Grenze prüfen →