Wie genau kann ein Telefon dabei wirklich sein?

Skepsis ist berechtigt. Eine klinische Schlafuntersuchung verwendet mehrere Sensoren, zum Beispiel für Luftstrom, Sauerstoff, Brustbewegung und Hirnwellen. SomniSense nutzt gemäß der unterstützten Aufstellanleitung ein einziges Telefonmikrofon auf dem Nachttisch, etwa 1.5–3 Fuß (50–90 cm) von Ihrem Kopf entfernt. Wenn mich also jemand fragt: „Wie genau kann das überhaupt sein?“, halte ich das für die richtige Frage.

Die ehrliche Antwort ist aufgabenspezifisch. Ein Mikrofonmodell kann für eine definierte akustische Klassifikationsaufgabe bewertet werden, während PSG physiologische Signale zur klinischen Auswertung misst. Das sind unterschiedliche Aufgaben, deshalb kann eine Zahl nicht das gesamte Produkt beschreiben.

Warum eine Genauigkeitszahl eine benannte Aufgabe braucht

Eine hohe Prozentzahl bleibt unvollständig, wenn sie nicht sagt, genau bei was. Die Klassifikation eines 1-sekündigen Schnarchsegments, eines markierten 200-sekündigen Atemfensters und die Erstellung einer Produktzusammenfassung für die ganze Nacht sind verschiedene Aufgaben. Evidenz für eine darf nicht auf eine andere übertragen werden.

Die beiden wirklich wichtigen Werte bewegen sich in entgegengesetzte Richtungen:

• Sensitivität — wie viele Referenzannotationen im Auswertungssatz hat das Modell erkannt?
• Präzision — wie viele Erkennungen des Modells im Auswertungssatz stimmten mit einer Referenzannotation überein?

Sensitivität und Präzision können sich in unterschiedliche Richtungen bewegen. Die Veröffentlichung beider Werte macht den Zielkonflikt verständlich, statt eine einzige kombinierte Metrik als vollständige Beschreibung zu behandeln.

Unsere tatsächlichen Werte

Klar gesagt: Bei der Erkennung 1-sekündiger Schnarchereignisse liegen die Mittelwerte über fünf Seeds bei 91.67% Sensitivität und 89.01% Präzision. Für 200-sekündige Atemereignisfenster meldet das komprimierte Modell 88.49% Genauigkeit und 88.06% F1. Das sind Klassifikationsbenchmarks einer Forschungskohorte, keine persönliche Genauigkeitsgarantie für Ihren heutigen SRI oder BRI.

Ich erläutere hier bewusst nicht jede Zahl, denn das erfordert eine längere, sorgfältigere Darstellung, die Sie besser vollständig als in einer Blog-Kurzfassung lesen. Die Aufschlüsselung steht auf der Genauigkeitsseite; Studiendesign und Modell — wie ein Telefon überhaupt zu diesen Zahlen kommt — stehen auf der Forschungsseite.

Der ehrliche Teil: wo es schwächer ist

Die Leistung im Produktbetrieb kann je nach Telefonposition, Raumgeräusch, Mikrofon, Partnergeräuschen und Mustern nahe einer Entscheidungsgrenze variieren. Der veröffentlichte Benchmark für 200-Sekunden-Fenster begründet keine einseitige Garantie für den BRI einer Person.

Geräusche, eine zweite schlafende Person, ein Ventilator nahe dem Mikrofon und nicht unterstützte Altersgruppen können beeinflussen, wie gut ein Benchmark zu einer persönlichen Nacht passt. Die veröffentlichte Kohorte bestand aus Erwachsenen; SomniSense ist nicht für Personen unter 18 Jahren bestimmt.