Expertensystem von 1986 im Test
Im vorigen Post habe ich einige Details zu unserem historischen Expertensystem berichtet, einige grundsätzliche Themen zu künstlicher Intelligenz angesprochen und mich zu aktueller medizinischer AI kurz geäußert. Doch schauen wir bei unserem Oldie doch einmal genauer hin. Ich habe zu Testzwecken dem Expertensytem Internist drei Krankheitsbilder angeboten. Mal sehen, wie der performt. Lernen können wir bestimmt etwas dabei!
1. Beispiel Lungenembolie
Ich habe in meiner klinischen Laufbahn mehrfach Probleme mit der Diagnosestellung bei der Lungenembolie erlebt. Ja auch schwere Fehldiagnosen mit entsprechenden Konsequenzen. Diese Erkrankung ist somit leider ein gutes Testobjekt dafür, wie uns diese Software bei der Diagnostik hilft oder hätte helfen können. Aus 25 Gruppen mit je ca. 20 Items können Attribute – besser Symptome oder Befunde – ausgewählt werden:
Hier nun die von mir ausgewählten klinischen Attribute, denen nach meiner Erfahrung bei schwerer Lungenembolie eine besondere Bedeutung zukommt:
Diese werden vom System analysiert in der Hinsicht, wie sie zu den 350 Diagnosen passen könnten. Es bietet eine Einschätzung der Wahrscheinlichkeiten an. Die von mir favorisierte Lungenembolie soll bei den obigen Attributen nur eine Wahrscheinlichkeit von 40 % haben:
Schauen wir doch mal auf den Bildschirm Reference a Disease für Pulmonary Embolism. Hier sind zwar immerhin 17 Attribute verfügbar. Ich hätte wohl noch weitere Attribute auswählen können. Auch hier ist keine Wichtung erkennbar. Allerweltssymptome stehen auf einer Ebene mit kritischen.
2. Beispiel Mesenterialinfarkt
Hier sehen Sie die von mir in verschiedenen Unterbildschirmen ausgewählten Attribute für einen Mesenterialinfarkt. Dieses Krankheitsbild ist schwerwiegend und durch klinische Kriterien schwer zu diagnostizieren.
Nachfolgend sehen sie den Analysebildschirm für obige Attribute. Leider kommt kein Synonym für Mesenterialinfarkt in der Liste möglicher Diagnosen vor. Keine Diagnose hat eine Wahrscheinlichkeit von mehr als 50 %. Ich würde davon ausgehen, das die entsprechende Diagnose unter den 350 erfassten nicht dabei ist. Eine schwere Pankreatitis wäre sicher erwägenswert, ich habe aber bewusst als Hinweis Vorhofflimmern ausgewählt. Schade.
3. Beispiel Divertikulitis
Ich habe nur recht gradlinige Symptome (Attribute) einer Sigmadivertikulitis mit möglichem Abszess ausgewählt:
Damit kann die Software-Analyse viel besser umgehen. Sie findet tatsächlich eine Wahrscheinlichkeit von 83 % für meine Zieldiagnose. Somit wären wir viel näher an der klinischen Relevanz des Diagnosevorschlages:
Schauen wir doch mal auf den Bildschirm Referencing Colonic Diverticulitis. Ich habe offensichtlich mehr Glück gehabt mit meinen 6 Attributen. Es fällt auch hier wieder die fehlende Wichtung der Attribute auf.
4. Interpretation und Diskussion
Unser historisches Expertensystem nimmt offensichtlich keine Wichtung der Diagnosen nach ihrer a priori-Wahrscheinlichkeit vor. Alle Diagnosen sind anscheinend gleich wahrscheinlich, obwohl es einige schon gar nicht mehr bei uns gibt, Beispiel Polio oder Pest. Das entspricht definitiv nicht dem Vorgehen eines erfahrenen Arztes, allenfalls dem des berüchtigten „BMS“ im House of God.
Bei den Attributen ist es ähnlich. Es gibt bei den einzelnen Erkrankungen schließlich mehr oder weniger spezifische Symptome und Befunde. Die Diagnostik zielt ja darauf ab, möglichst signifikante Befunde zu erheben. Wie wir leidvoll gelernt haben, lässt uns bei Diagnostik der Lungenembolie die Klinik komplett im Stich. Der Hype um die unsichere Lungenszintigrafie ist schon lange vorbei. D-Dimere waren auch so ein überschätzter Laborwert, brauchbar allenfalls, wenn ein Normalwert gemessen wurde. Relevant ist heute nur noch die CT Pulmonalis Angio, ergänzend sicherlich die Echokardiographie. Die Wichtung von „Attributen“ ist also auch hier unverzichtbar.
Und damit kommen wir zu weiteren Problemen wie der Verfügbarkeit von Diagnoseverfahren, zu den Fortentwicklungen und zu dem noch größeren Problem der Unvollständigkeit der Eingaben. Die Software sieht den Patienten ja nicht, sie lässt zahlreiche Nebenaspekte einfach weg. Was wir als ärztliche Intuition bezeichnen, kennt so ein System überhaupt nicht. Ich könnte mir vorstellen, dass so eine Software die Vollständigkeit relevanter Diagnostik prüft, und vielleicht Vorschläge macht. Allerdings gibt es heute für viele Situationen und Krankheitsbilder Leitlinien oder etwas weniger stringente SOPs. Diese bieten so etwas auch.
Diagnosen, die ein Expertensystem nicht kennt, kann es nicht stellen, wie wir gesehen haben. Selbstlernend neue Krankheitsbilder in ein System zu akquirieren, scheint mir bei der Komplexität der Medizin insgesamt eine Utopie. Die „Starke Künstliche Intelligenz“ wird es im Zusammenhang mit Expertensystemen auch in der Medizin auf längere Sicht nicht geben. Eine Diagnosewahrscheinlichkeit von 90 % ist zwar theoretisch ganz gut. Dem realen Patienten wird sie allerdings nicht helfen können.
Ein universelles Expertensystem der Medizin,
das alle Aspekte und Fachgebiete abdeckt,
ist heute wohl weiter entfernt als jemals zuvor.
So jedenfalls ist meine Meinung.
Nach 35 Jahren habe ich es nun geschafft, mich mit der damals coolen Software zu beschäftigen. Fast unangetastet stand sie im Regal. Der Ruhestand und Corona machen es möglich!
