KI-Solutions 28.07.2025 – Gruppe 4 – LLM Kundendaten abgleichen – Innovationsrahmen

In diesem Abschnitt des Calls präsentieren Stephan und Stefan den methodischen Innovationsrahmen zur Umsetzung ihres zuvor vorgestellten Anwendungsfalls: dem Einsatz eines lokalen LLM zur Analyse und Auswertung von Kundendaten – hier konkret im therapeutischen Kontext am Beispiel der Ergotherapie.

Ziel ist es, einen KI-gestützten Assistenten zu entwickeln, der auf Basis realer Therapieprotokolle individualisierte und qualitativ hochwertige Therapieansätze für Patienten vorschlägt. Dabei werden zwei Datenquellen miteinander verknüpft:

1. Fachspezifisches Praxiswissen (z. B. aus der persönlichen Erfahrung von Therapeuten)

2. Allgemeine Therapie-Leitlinien (etwa aus öffentlich zugänglichen Datenbanken)

Die technische Umsetzung sieht den Aufbau mehrerer Komponenten vor:

• Vektordatenbank für Therapiebeschreibungen, Leitlinien und Erfahrungswissen

• Lokales LLM für die Abfrage und Einbettung der Daten

• Chatinterface zur Kommunikation mit dem System

• Dokumenten-Loader, um strukturierte Protokolle und Transkripte automatisiert zu integrieren

Ein zentraler Innovationsaspekt liegt in der iterativen Weiterentwicklung des Systems: Nach jeder Therapiestunde oder Patienteninteraktion werden neue Erkenntnisse erfasst und zurück in die Datenbank gespeist. So entsteht ein lernendes System, das kontinuierlich optimiert werden kann.

Ein weiterer Mehrwert liegt in der strukturierten Verfügbarmachung von Erfahrungswissen: Wenn einzelne Therapeuten aus einer Praxis ausscheiden, bleibt deren Wissen erhalten. Gleichzeitig profitieren andere Therapeuten von Lösungsvorschlägen, die außerhalb ihrer gewohnten Herangehensweise liegen – eine gezielte Erweiterung des therapeutischen Methodenspektrums.

Zielgruppe in der ersten Ausbaustufe sind Therapeutinnen und Therapeuten. In einer späteren Entwicklungsphase ist angedacht, auch Patientinnen und Patienten direkt einzubinden – etwa über eine App, in die sie Aufgaben oder Übungen selbstständig eintragen und damit zur Datengrundlage beitragen.

Rahmenbedingungen und Scope:

• Die Umsetzung ist als achtwöchiges Projekt geplant.

• Innerhalb dieses Zeitraums soll eine funktionale Datenbank stehen, die einen Abgleich mit Patientendaten ermöglicht.

• Die volle Einbindung der Patientenseite sowie eine mögliche App-Entwicklung liegen außerhalb des aktuellen Projektumfangs.

• Besonderes Augenmerk liegt auf DSGVO-Konformität und auf der Abstimmung mit Krankenkassenstandards, damit die individualisierten Therapiepläne auch formal den regulatorischen Anforderungen genügen.

Fazit:

Ein fundierter Innovationsrahmen zur KI-gestützten Individualisierung von Therapieprozessen – mit dem Ziel, Geschwindigkeit, Qualität und langfristige Wissenssicherung in therapeutischen Praxen zu verbessern.

LLM Kundendaten abgleichen

In diesem Call stellte Team 4 seine Fortschritte beim Aufbau eines lokalen LLM-Systems vor, das den Bruder von Stefan Grandy – Ergotherapeut und Kunsttherapeut – im Praxisalltag DSGVO-konform unterstützen soll.

Kernthemen & Inhalte:

• Projektziel: Entwicklung eines Bots zur Eingabe von Patientendaten, therapeutischen Anforderungen und Dokumentationen für Krankenkassen.

• Technischer Ansatz: Einsatz lokaler LLMs, Auswahl geeigneter Open-Source-Modelle durch Deep Research, Testreihen mit zehn Fachfragen.

• Modellevaluation: Vergleich verschiedener Modelle (u. a. GPT OSS20B, LLaMA3, Mental LLaMA). Überraschend lieferten kleinere Modelle teils bessere Ergebnisse. Feintuning-Modelle waren nicht automatisch überlegen.

• Datenschutz & Datenintegration: Hoher Aufwand durch Digitalisierung nicht verfügbarer Fachliteratur (Scans, PDF-Erstellung, OCR). Diskussion über Umfang (wenige relevante Bücher vs. komplettes Regal).

• Ergebnisse:

  • GPT OSS20B erwies sich zunächst als bestes Modell.

  • Erste Tests mit Bildverarbeitung zeigten Grenzen bei einzelnen Modellen.

  • Halluzinationen und fehlerhafte Quellenangaben wurden erkannt.

• Team-Learnings:

  • Einheitlicher User-Account notwendig, um Transparenz und Nachvollziehbarkeit in der Zusammenarbeit sicherzustellen.

  • System-Prompts sind entscheidend für die Ergebnisqualität.

  • Lokale LLMs sind grundsätzlich machbar, erfordern aber sorgfältige Datenaufbereitung.

• Herausforderungen: Fehlendes Fachwissen im Team erschwert die inhaltliche Bewertung; bis zum Stichtag 10. Oktober wird ein Demonstrationssystem erwartet, jedoch noch nicht produktiv einsetzbar.

• Reflexion: Das Team betont den hohen Lerngewinn, insbesondere bei Themen wie Datenintegration, Modellwahl und praktischer Umsetzung.

• Ausblick: Weitere Tests, bessere Datenbasis, Verfeinerung des Systemprompts. Geplante Vorstellung des Projekts bei Veranstaltungen.

Fazit: Die Machbarkeit lokaler LLMs in sensiblen Feldern wie Ergotherapie wurde bestätigt. Trotz offener Punkte ist das Projekt ein Paradebeispiel für praxisnahe KI-Anwendung mit großem Zukunftspotenzial.

Ergebnisvorstellung auf dem KI-Connect – 10.10.2025

Zusammenfassung

In diesem Abschnitt präsentierte Gruppe 4 ihr KI-Projekt „Odilon“ – ein System zur lokal DSGVO-konformen Nutzung von Large Language Models (LLMs) im Bereich der Kunst- und Ergotherapie. Ziel war es, einen KI-basierten Assistenten zu entwickeln, der Therapeuten bei der Analyse von Patientendaten und der Entwicklung von Therapieplänen unterstützt.

1. Ausgangslage & Zielsetzung

Die Herausforderung: Fachlich präzise Antworten auf Therapiefragen zu generieren – unter strengem Datenschutz und ohne Cloud-abhängige Systeme. Dafür wurde ein lokal betriebenes LLM-System mit RAG-Architektur (Retrieval Augmented Generation) implementiert, das über eine cloudbasierte Oberfläche zugänglich ist.

Das Projektziel:

• Unterstützung bei der Erstellung von Therapieplänen und Berichten
• Fachlich fundierte, knappe und relevante Antworten
• Einhaltung datenschutzrechtlicher Anforderungen

2. Technische Umsetzung

Das Team entschied sich für die Plattform „Anything LLM“ als technische Basis und installierte das LLM lokal, während das Interface in einer privaten Cloud bereitgestellt wurde – so konnten alle Teammitglieder sicher zusammenarbeiten.

LLM-Auswahl:

• Tiefgehender Vergleich von Open-Source-Modellen wie LLaMA3, DeepSeek, MentalLLaMA u. a.
• Überraschendes Ergebnis: Das Modell GPT OSS 20B schnitt am besten ab (gute Qualität trotz geringem Ressourcenbedarf).
• Ein weiteres Modell mit sehr hoher Leistung – GLM 4.5R – wurde ebenfalls getestet, erforderte jedoch deutlich mehr Hardware.

3. Datenaufbereitung & Integration

Ein wesentlicher Teil des Projekts bestand in der Aufbereitung von Fachliteratur:

• Scans, OCR, manuelle Digitalisierung von Primärliteratur
• Aufbau einer hochwertigen Vektor-Datenbank als Wissensbasis für die KI
• Auswahl relevanter Literatur, um Halluzinationen und unspezifisches Blabla zu vermeiden („Shit in, Shit out“-Prinzip)

4. Testreihen & Erkenntnisse

• Definition von 5 Kernfragen mit Musterantworten aus der Fachliteratur
• Durchführung von mehrstufigen Tests (Parameter: Temperatur, Chunk-Anzahl, Ähnlichkeitslevel)
• Iterative Optimierung: Sweetspot bei Temperatur 0.3–0.5, 6–8 Chunks, gezielte Guardrails (z. B. Antwortlängen)
• Erkenntnis: Zu kleine Chunks → keine Antwort; zu große → Halluzinationen
• Sprache war oft zu technisch – hier gibt es Potenzial zur weiteren Anpassung für den therapeutischen Kontext

5. Bewertung & Ausblick

• Das System lieferte in Tests tragfähige, fachlich belastbare Antworten
• Großes Lernpotenzial im Team: Modellbewertung, technische Feinabstimmung, Datenqualität
• Limitierung durch die Plattform: Weitere Entwicklung erfordert Technologiewechsel (z. B. Flowise, EMEK)
• Folgeprojekt geplant: Automatisierte Dokumentenaufbereitung für LLMs
• Ziel: Produktive Umsetzung bis Ende Januar 2026