Auswirkungen des Einsatzes der Spracherkennung auf die ...

apps.drg.de

Auswirkungen des Einsatzes der Spracherkennung auf die ...

Auswirkungen des Einsatzes derSpracherkennung auf die klinischen AbläufeC Trumm 1 , C Glaser 1 , C Grosse 1 , B Küttner 1 ,S Nissen-Meyer 1 , P Popp 2 , M Reiser 11: Institut für Klinische Radiologie, Ludwig-Maximilians-Universität München2: Siemens AG Medical SolutionsLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Übersicht• Hintergrund• Workflow der Befunderstellung ohne / mit SES• Workflow Schreibbüro• Ergebnisse– Zeitaufwand (prospektiv)– Erkennungsraten (retrospektiv)– Befundverfügbarkeit (retrospektiv)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Motivation• Verkürzung der `Report Turnaround Time` (RTT)KISPACS Workload Queue Befunddiktat Transcription Queue Signature Queue• Digitale Befunderstellung / -verteilung im KIS• Alternative Nutzung / Umverteilung / Einsparungpersoneller Ressourcen der SchreibkräfteLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


HintergrundInstitut für Klinische Radiologie, Großhadern• RIS Worklist = Master• Juli 2003 Spracherkennungssystem(Philips SpeechMagic V5.1, Österreich)↓RIS / PACS(Siemens AG, Deutschland)• ~ 50 Nutzer• 4 Vollzeit-, 3 Teilzeitschreibkräfte• Hintergrund-SE / Korrektur d. Schreibkraft → Wochentage• Online-SE / Korrektur d. Radiologen → WT & Nacht / WELMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Workflow der BefunderstellungLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Assistent erstellt handschriftlichen Befund auf AnforderungsscheinTonbanddiktatOberarzt schaut Befund gegen / Assistent korrigiert handschriftl. BefundAssistent erstellt TonbanddiktatRTTMinicassette + Anforderungsscheine SchreibbürofachSchreibkraft holt `Päckchen`Schreibkraft schreibt und formatiert Befund im RIS (MS Word)Vorläufiger Befund (`geschrieben`) wird im KIS / RIS verfügbarAssistent korrigiert und `schreibschützt` BefundOberarzt / Facharzt korrigiert (ggf.) und validiert Befund(Korrekturbefund wird b.B. in MS Word erstellt)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Tonbanddiktat vs. HintergrunddiktatRTTAssistent erstellt HintergrunddiktatAnforderungsscheine SchreibbürofachSchreibkraft holt AnforderungsscheineRTTSchreibkraft korrigiert (vom SE-Server ausgeg.) Rohtext (+wav)Schreibkraft korrigiert und formatiert Word-Dokument (`geschrieb.`)Vorläufiger Befund (`geschrieben`) wird im KIS / RIS verfügbarLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Onlinediktat vs. HintergrunddiktatAssistent erstellt handschriftlichen Befund auf AnforderungsscheinRTTOberarzt schaut Befund gegen / Assistent korrigiert handschriftl. BefundAssistent erstellt Onlinediktat und `schreibschützt` BefundVorläufiger Befund (`schreibgesch.`) wird im KIS / RIS verfügbarOberarzt / Facharzt korrigiert (ggf.) und validiert Befund(Korrekturbefund wird b.B. in MS Word erstellt)RTTLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Workflow SchreibbüroLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


AufgabenverteilungArztSchreibbüro• Onlinediktat (Routine/ND/WE)Diktat +Korrektur (Rohtext) +Formatierung (MS Word)• Hintergrunddiktat (Routine)- ∅ Transkription- 2-fache Korrektur(Rohtext + MS Word)• ConText-Pflege (~100W./d)• Tonbanddiktat(≤ 5%: Mx, DXA, Gutachten)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


SchreibbüroConText-AdaptionLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


• Hinzufügen von- unbekannten(`ACC-Stenose`)SchreibbüroConText-Adaption• Phonetische Beschreibung(Spezialwörter)- häufig verwendeten(`altersentsprechende`)Wörtern zu ConText-WS• Entfernen von- Satzzeichen (…Neutropenie)Grafeme3DMBUSAH2OresearchDrainageDr.Phonetische BeschreibungdreidemegabeitU S AH zwei OrisörtschDrähnascheDoktor- Tippfehlern (Angiophie Angiographie)- fehlerhafter G/K-SchreibungLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Mohr et al. JAMIA 2003• 30 Befunder / 18 Schreibkräfte• 1053 / 1301 (TD/HD) internistisch-endokrinologische Befunde• Produktivität(Diktierzeit Arzt[Minuten] / Arbeitszeit Schreibkraft[h])• Befunde Alle Schreibkräfte: 87,3%* (95% KI 83,3%; 92,3%)• Befunde Langsame Schreibkräfte (< 15 min./h): 104,6%* (95% KI 100,0%; 109,4%)• Befunde Akzentfreie Befunder (n=23): 86,6%* (95% KI 81,7%; 93,0%)• Befunde > 3 min. Diktatlänge: 97,1%* (95% KI 90,1%; 105,1%)* Produktivität bei Einsatz des SES im Vergleich zum TonbanddiktatLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Prospektive Analyse (Zeitaufwand)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Prospektive AnalysePrimärer Zeitaufwand der Befunderstellung• Zeitraum 03/2004 – 08/2004• 12 Radiologen (6 FÄ, 6 AÄ)• ≥ 8 Mon. Erfahrung• 151 / 257 / 261 (TD*/HD*/OD + ) * Reine Diktatzeit+Diktat- + Korrekturzeit• RTT (Befundstatus `geschrieben`)• Diktatdauer (s)• Anzahl Worte• Anzahl BilderZeitaufwandDiktatdauer (s)pro Befund = (n Bilder * n Worte )LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Prospektive AnalyseModusPrimärer Zeitaufwand der BefunderstellungZeit / (Wort und Bild)Zeit/Befund(s)Zahl Worte /BefundZahl Bilder /BefundZeit /(Wort*Bild)pro Befund(s)Tonband 64 ± 39 71 ± 38 3,0 ± 3,6 0,44 ± 0,31Hintergrund 74 ± 40 67 ± 31 2,9 ± 2,4 0,54 ± 0,38Online 75 ± 46 62 ± 31 2,3 ± 0,9 0,62 ± 0,38LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Prospektive AnalysePrimärer Zeitaufwand der BefunderstellungZeit / (Wort und Bild)10,90,80,70,6sec. 0,50,40,30,20,100,44 0,54 0,62CD SR (Remote) SR (Online)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Prospektive AnalyseRTT(MW ± SD)TD (n=151)10h 28min ± 8h 56minHD (n= 257)6h 39min ± 7h 35minOD (n=261)1h 16min ± 1h 02minLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Retrospektive Analyse (Erkennungsraten)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


ErkennungsratenER = 100 – Fehlerrate (%)• Hundt et al. (1999) 92,5% Philips SP6000• Arndt et al. (1999) 89,3-97,6% Philips SP6000• Vorbeck et al. (2000) 94,5% Philips SP6000• Ramaswamy et al. (2000) 92,7-96,5% IBM MedSpeak V1.2• Kanal et al. (2001) 89,7% IBM MedSpeak V1.1LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Fehlerraten 09/04 – 03/06• 39 Benutzer(> 100 HD)• 54000 Hintergrunddiktate(25%HD, 70%OD, 5% TD)• Median 1078Parameter• length (ms)• # characters• # words• # recorded words• # corrected words• # unkown words• # insertions• # deletions• # substitutions• # character insertions• # character deletions• # cursor movements• correction effort• error rate (%)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Fehlerraten 09/04 – 03/06• Error Rate Alle 12,6 +- 4,6 % (MW +- SD)• Error Rate 1bis3 12,4 +- 3,8 % (MW +- SD)• Error Rate >3bis5 11,4 +- 6,6 % (MW +- SD)• Error Rate >5 13,6 +- 4,2 % (MW +- SD)1 bis 3J. Berufserfahrung n=17>3 bis 5J. “ n=9>5J. “ n=13LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Fehlerraten 09/04 – 03/06LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


FehlertypenKritische Fehler:• Non-Sense-Fehler (`Portion 2g Fisch` statt`projektionsradiographisch`)• Wortschatz-Fehler (`Fett Bett Sign`)• Homonym-Fehler (z.B. `Mestinon`statt `Mediastinum`)Sonstige Fehler:• Interpunktion• Groß-/ Kleinschreibung• Zusammengesetzte Wörter• Datum/ ZahlenZafar et al. JAMIA 2004LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Retrospektive Analyse(Befundverfügbarkeit)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


BefundverfügbarkeitKumulative Befundverfügbarkeit (erste x h)Mittlere RTTAutor Vor SES Mit SES Vor SES Mit SESRamaswamyet al. (2000)Hayt u.Alexander(2001)Sferella(2003)Callaway et al.(2002)11% (24h) 71% (24h) 87h 32h3% (12h) 86% (12h) - 4,3h41% (24h) 85% (24h) - -50% (8h) 91% (8h) 15,7h 4,7hLanger (2002) - - 32h 18,2hLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Retrospektive AnalyseBefundverfügbarkeit1. 01-06/2003 (n I= 33155 Befunde)– PACS / RIS / BanddiktatSE2. 01-06/2004 (n II= 45136 Befunde)– PACS / RIS / SE– ≥ 0.5 J Erfahrung mit SE3. 01-06/2005 (n III= 60209 Befunde)– PACS / RIS / SE– ≥ 1.5 J Erfahrung mit SELMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Retrospektive AnalyseBefundverfügbarkeit1. 01-06/2003 (n I= 33155 Befunde)– PACS / RIS / BanddiktatSE2. 01-06/2004 (n II= 45136 Befunde)– PACS / RIS / SE– ≥ 0.5 J Erfahrung mit SE3. 01-06/2005 (n III= 60209 Befunde)– PACS / RIS / SE– ≥ 1.5 J Erfahrung mit SELMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Retrospektive AnalyseBefundverfügbarkeit1. 01-06/2003 (n I= 33155 Befunde)– PACS / RIS / BanddiktatSE2. 01-06/2004 (n II= 45136 Befunde)– PACS / RIS / SE– ≥ 0.5 J Erfahrung mit SE3. 01-06/2005 (n III= 60209 Befunde)– PACS / RIS / SE– ≥ 1.5 J Erfahrung mit SELMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Retrospektive AnalyseBefundverfügbarkeit• RIS DB Zeitstempel• `Report Turnaround Time` (RTT):Eingang des letzten Bildesder Studie ins PACSBefund im RIS / KISverfügbar (`geschrieben`)• Kumulative Befundverfügbarkeit (%)• CR, CT, MR, US, XA/DS (Angiographie)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Kumulative Befundverfügbarkeit (3 d)3d 01-06/2003 01-06/2004 01-06/2005MR 45.0% 66.7% 61.4%CT 54.0% 69.0% 70.1%~ 16%3d 01-06/2003 01-06/2004 01-06/2005CR 57.8% 70.8% 91.6%XA/DS 68.6% 70.2% 85.8%US * 88.0% 92.2%* Handschriftliche Befunde~ 17-34%LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Kumulative Befundverfügbarkeit (12 h)Alle Modalitäten59.1%28.3%11.2%LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Kumulative Befundverfügbarkeit (12 h)2003 2005MR 4.9% 10.1%CT 8.5% 31.4%CR 12.0% 76.0%XA/DS 55.7% 69.2%US * 69.0%* Handschriftliche BefundeLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Kumulative Befundverfügbarkeit (12 h)2003 2005MR 4.9% 10.1%CT 8.5% 31.4%CR 12.0% 76.0%XA/DS 55.7% 69.2%US * 69.0%* Handschriftliche BefundeLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Prospektive AnalyseZusammenfassungZeitaufwand– 1,2- (HD) bis 1,4-fach (OD) erhöhter, primärerZeitaufwand der Befunderstellung (CR)– Reduktion der RTTTD HD (x 1,6) OD (x 8,4)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Prospektive AnalyseDiskussionGründe für erhöhten ZeitaufwandHD vs. TD (x 1,2):- Navigationsschritte im RIS-BefundarbeitsplatzOD vs. TD / HD (x 1,4 / 1,1):- Korrektur Rohtext- Transfer des Rohtextes in MS Word-FormatierungAufgabentransfer Schreibbüro Arzt- Sprachlich-inhaltliche Überprüfung- FormatierungLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Retrospektive AnalyseZusammenfassungBefundverfügbarkeit• Deutliche Verbesserung der kumulativenBefundverfügbarkeit (↓ RTT)3d bis zu 92.2% (US)12h bis zu 76.0% (CR)~ 60% (alle Mod)60min bis zu 28.8% (US)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Retrospektive AnalyseDiskussionModalitätenbezogene Unterschiede• Schnittbildverfahren nur `moderate` Verbesserung– Anteil HD > OD– ↑ steigendes Untersuchungsaufkommen (CT)– ↑ n Bilder / Untersuchung(MR: `Whole Body Imaging`, Cardio-MR)– Komplexe, weniger standardisierte Befunde– Ausbildungsbetrieb !• Angiographie Hohe BV durch Makros vor / nach SESLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Take HomeSpracherkennung– schnellere, digitale Befundverfügbarkeit⇒ beschleunigte Therapieentscheidungen– ~ 95% der Befunde (HD, OD)– Tonbanddiktat für `Sonderlösungen`– Limitation `Ausbildungsbetrieb`– Aufgabenumverteilung Schreibbüro Arzt (~70% OD)(Editierung, Formatierung, Kontrolle [Plausibilität, Qualität])LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Danke für dieAufmerksamkeit !LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


FazitPro+ wahlweise `TraditionelleBefundtranskription` möglich (HD)+ kontinuierlichere Bearbeitungdurch Schreibbüro (HD)+ schnelle (digitale)Befundfinalisierung (OD)+ ↓ RTT (OD)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


ContraFazit- ≈ RTT (HD)- Doppeltes Editieren des Befundes (Rohtext + MS Word) durchSchreibkraft (HD)- Notwendigkeit der regelmäßigen ConText-Adaption (HD/OD)- ↑ Zeitaufwand des Radiologen (OD)- Verantwortung für Befundkorrektheit (OD)- Kritische Fehler (Non-Sense-, Homonym-Fehler)LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Technische Infrastruktur•Fileserver(Dispatcher, ConTextadaptationsserver•DB-Server•3 Erkennungs-/AdaptationsserverLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Produkte- Kontext 20000 - 64000 Wörter- Erkennungsraten 97-100%LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Kumulative Befundverfügbarkeit (3 d)MR / CTMRCT3d 01-06/2003 01-06/2004 01-06/2005MR 45.0% 66.7% 61.4%CT 54.0% 69.0% 70.1%~ 16%LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Kumulative Befundverfügbarkeit (3 d)CR / XA/DS / USCRXA/DS3d 01-06/2003 01-06/2004 01-06/2005CR 57.8% 70.8% 91.6%XA/DS 68.6% 70.2% 85.8%US * 88.0% 92.2%US* Handschriftliche Befunde~ 17-34%LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Kumulative Befundverfügbarkeit (12 h)2003 2005MR 4.9% 10.1%CT 8.5% 31.4%CR 12.0% 76.0%XA/DS 55.7% 69.2%US * 69.0%* Handschriftliche BefundeLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Kumulative Befundverfügbarkeit (12 h)2003 2005MR 4.9% 10.1%CT 8.5% 31.4%CR 12.0% 76.0%XA/DS 55.7% 69.2%US * 69.0%* Handschriftliche BefundeLMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Kumulative Befundverfügbarkeit (60 Min.)2004 (≥ 0.5J) → 2005 (≥ 1.5J)min CT CT XA XA CR CR US US10 0.3 0.4 0 1.0 0.9 3.6 0.9 5.020 2.2 2.1 0.2 6.0 4.3 10.0 11.0 16.130 3.8 3.8 0.9 11.5 6.7 14.3 15.9 24.540 4.5 5.1 1.9 14.2 7.8 16.7 17.1 27.750 5.0 5.8 2.6 15.6 8.3 17.7 17.6 28.760 5.2 5.9 2.9 16.0 8.4 18.0 17.7 28.8%LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006


Kumulative Befundverfügbarkeit (60 Min.)2004 (≥ 0.5J) → 2005 (≥ 1.5J)min CT CT XA XA CR CR US US10 0.3 0.4 0 1.0 0.9 3.6 0.9 5.020 2.2 2.1 0.2 6.0 4.3 10.0 11.0 16.130 3.8 3.8 0.9 11.5 6.7 14.3 15.9 24.540 4.5 5.1 1.9 14.2 7.8 16.7 17.1 27.750 5.0 5.8 2.6 15.6 8.3 17.7 17.6 28.760 5.2 5.9 2.9 16.0 8.4 18.0 17.7 28.8%LMU München – Institut für Klinische Radiologie KIS-RIS-PACS-Workshop Berlin 06.04.2006

Weitere Magazine dieses Users
Ähnliche Magazine