Entwicklung und Zuverlässigkeitsbewertung eines KI-gestützten Chatbots zur Unterstützung bei Urtikaria
(avc) Chronische Urtikaria (CU) beeinträchtigt die Lebensqualität der Patient*innen erheblich. Die korrekte Diagnose und Behandlung von CU kann Jahre dauern, sodass Patient*innen oft im Internet nach Antworten suchen, um mit ihrer Erkrankung umzugehen. In dieser Studie wurde ein Chatbot namens AIDUS (Artificial Intelligence-Driven Urticaria Support) für Patient*innen mit CU und behandelnde Ärzt*innen entwickelt und seine Zuverlässigkeit bei der Bereitstellung hochwertiger CU-spezifischer Informationen im Vergleich zu Chat Generative Pre-Trained Transformer (ChatGPT) 3.5 und ChatGPT 4o bewertet.
AIDUS wurde von einem Expertenkomitee aus Urtikaria- und Künstliche-Intelligenz-Spezialisten unter Verwendung von JavaScript und dem großen Sprachmodell ChatGPT von OpenAI entwickelt. PubMed wurde systematisch überprüft, um sicherzustellen, dass AIDUS qualitativ hochwertige Informationen enthält. Der Chatbot wurde ausschließlich mit ausgewählten, von Fachkolleg*innen begutachteten CU-Publikationen der Forschungsgruppe der Charité, Universitätsmedizin Berlin, die nach 2014 veröffentlicht wurden, bestückt.
Unter Verwendung von ChatGPT 3.5 als zugrunde liegendem Algorithmus wurden 254 Publikationen integriert. Basierend auf dem aktuellen Wissensstand zu CU wurde ein Satz von 100 validierten Fragen entwickelt, um die Leistung von AIDUS zu bewerten. Das Programm wurde mehrmals mit denselben Fragen ausgeführt und auf Konsistenz verglichen. Die Leistung wurde mit verschiedenen Einstellungen für Chunk- und Overlap-Größe getestet, um die Effizienz und Genauigkeit von AIDUS zu optimieren.
Der Chatbot AIDUS übertraf allgemeine ChatGPT-Modelle in Bezug auf Genauigkeit, Konsistenz und Stabilität bei der Beantwortung von CU-spezifischen Fragen. AIDUS zeigte über mehrere Testläufe hinweg eine höhere durchschnittliche Genauigkeit (94,6%) im Vergleich zu ChatGPT 3.5 (42,6%) und ChatGPT 4o (85,7%). Dementsprechend lieferte AIDUS zuverlässige, hochwertige Informationen über CU und erfüllt damit den Bedarf von Patient*innen und Ärzt*innen an genauen, relevanten Antworten auf der Grundlage von peer-reviewter medizinischer Literatur. AIDUS ist ein Hilfsmittel und ersetzt nicht die Konsultation eines Arztes.
Autor*innen: Aulenbacher et al. 2024
Korrespondenz: Institute of Allergology, Charité – Universitätsmedizin Berlin, Germany
Studie: Development and Reliability Assessment of an Artificial Intelligence-Driven Urticaria Support Chatbot, AIDUS
Quelle: J Allergy Clin Immunol Pract 2025 Aug 6:S2213-2198(25)00758-5.
Web: dx.doi.org/10.1016/j.jaip.2025.07.047
