KI-Einsatz im Unternehmen und die KI-Verordnung – Medizintechnik: FAQ

Die KI-Verordnung (EU) 2024/1689 – oft als EU AI Act bezeichnet – ist die weltweit erste umfassende horizontale Regulierung für künstliche Intelligenz. Sie klassifiziert KI-Systeme nach Risikostufen, legt für jede Kategorie spezifische Pflichten fest und richtet sich an Anbieter, Betreiber, Importeure und Händler von KI-Systemen.

Medizintechnikunternehmen sind aus mehreren Gründen unmittelbar betroffen: Erstens stuft die KI-Verordnung KI-Systeme, die als Sicherheitsbauteile von Medizinprodukten im Sinne der MDR (Medical Device Regulation, Verordnung (EU) 2017/745) oder der IVDR (In-vitro-Diagnostika-Verordnung, (EU) 2017/746) eingesetzt werden, automatisch als Hochrisiko-KI ein. Zweitens treffen die damit verbundenen Konformitätspflichten insbesondere mittelständische Hersteller, die bislang keine dedizierten KI-Governance-Strukturen aufgebaut haben. Drittens besteht ein erheblicher Überschneidungsbereich mit dem Medizinprodukterecht: Wer bereits CE-Konformität nach MDR anstrebt, muss nun parallel die Anforderungen der KI-Verordnung in sein Qualitätsmanagement integrieren.

In der Mandatspraxis sehen wir regelmäßig Unternehmen, die die KI-Verordnung zunächst als IT-Thema behandeln – und dabei übersehen, dass sie die gesamte Produktentwicklungs-, Zulassungs- und Vertriebsstruktur berührt.

Die KI-Verordnung ist am 1. August 2024 in Kraft getreten, gilt aber in gestaffelten Anwendungsphasen. Das Verbot für unzulässige KI-Praktiken (Art. 5 KI-VO) gilt seit dem 2. Februar 2025. Die Anforderungen für Hochrisiko-KI-Systeme – und damit der Kernbereich der Medizintechnik – sind ab dem 2. August 2026 vollständig anzuwenden.

Für Medizintechnikunternehmen, deren KI-Systeme zugleich unter die MDR oder IVDR fallen, sieht die KI-Verordnung eine weitere Besonderheit vor: Solche Systeme können unter erleichterten Konformitätsbedingungen zugelassen werden, wenn das bestehende Konformitätsbewertungsverfahren nach MDR/IVDR angepasst wird. Die entsprechenden delegierten Rechtsakte der Kommission sind zu beobachten.

Praktische Empfehlung: Unternehmen, die sich noch in der MDR-Umstellungsphase befinden, sollten die KI-Verordnungs-Compliance nicht als separates Projekt behandeln, sondern in die laufende technische Dokumentation integrieren. Die Frist bis August 2026 klingt komfortabel – in der Realität ist der Aufbau eines konformen Qualitätsmanagementsystems nach unserer Erfahrung ein sechs- bis zwölfmonatiger Prozess.

Ein als Hochrisiko eingestuftes KI-System – wozu nahezu alle medizinischen KI-Anwendungen mit Auswirkung auf Diagnose, Therapie oder Patientensicherheit zählen – unterliegt einem umfangreichen Pflichtenkatalog gemäß Kapitel III der KI-Verordnung.

Die zentralen Anforderungen im Überblick:

• Risikomanagementsystem (Art. 9 KI-VO): Fortlaufend zu betreibendes System zur Identifikation, Bewertung und Minderung von Risiken – eng verzahnt mit dem Risikomanagement nach ISO 14971 im Medizinproduktebereich.
• Daten-Governance (Art. 10 KI-VO): Trainings-, Validierungs- und Testdaten müssen festgelegte Qualitätskriterien erfüllen; demografische und medizinische Verzerrungen (Bias) sind systematisch zu adressieren.
• Technische Dokumentation (Art. 11, Anhang IV KI-VO): Detaillierte Dokumentation von Systemarchitektur, Trainingsdaten, Leistungsmetriken und Risikobewertung – vor dem Inverkehrbringen zu erstellen.
• Transparenz und Nutzungsinformation (Art. 13 KI-VO): KI-Systeme müssen so gestaltet sein, dass Betreiber – in der Medizintechnik oft Kliniken oder Praxen – die Outputs interpretieren und überwachen können.
• Menschliche Aufsicht (Art. 14 KI-VO): Wirksame Aufsichtsmöglichkeiten für natürliche Personen müssen technisch vorgesehen sein.
• Genauigkeit, Robustheit, Cybersicherheit (Art. 15 KI-VO): Messbare Leistungsanforderungen über den gesamten Lebenszyklus.
• Qualitätsmanagementsystem (Art. 17 KI-VO): Verpflichtend für Anbieter; muss in bestehende MDR-QMS-Strukturen integrierbar sein.

Betreiber – also Unternehmen, die ein fremdes Hochrisiko-KI-System einsetzen – haben geringere, aber dennoch substanzielle Pflichten: Sicherstellung der bestimmungsgemäßen Verwendung, Überwachung des Systembetriebs, Meldepflichten bei schwerwiegenden Vorfällen.

Die KI-Verordnung und die MDR/IVDR verfolgen überschneidende, aber nicht deckungsgleiche Regulierungsziele. Die MDR regelt das Medizinprodukt als Ganzes; die KI-Verordnung adressiert spezifisch die KI-Komponente – auch wenn diese nur eine Teilfunktion des Produkts darstellt.

Das Zusammenspiel folgt dem Grundsatz der lex specialis: Soweit die KI-Verordnung spezifischere Anforderungen stellt, gehen diese vor. Für KI-Systeme, die als Sicherheitsbauteile unter die MDR fallen, sieht Art. 8 Abs. 1 KI-VO ein integriertes Konformitätsbewertungsverfahren vor. In der Praxis bedeutet dies, dass die technische Dokumentation nach Anhang IV KI-VO in die Dokumentation nach MDR Anhang II/III zu integrieren ist.

Besonders relevant ist die Frage der Softwarequalifikation: Software as a Medical Device (SaMD) ist – wenn sie auf KI basiert – regelmäßig sowohl nach MDCG-Leitlinien als Medizinprodukt einzustufen als auch als Hochrisiko-KI nach der KI-Verordnung zu bewerten. Beide Regulierungsebenen verlangen parallele Konformitätsbewertungen, die koordiniert zu führen sind. Nach unserer Erfahrung in der Mandatspraxis unterschätzen gerade mittelständische Softwarehersteller im Medizinbereich den Dokumentationsaufwand dieser Doppelregulierung erheblich.

Wann ist eine Neubewertung erforderlich? Immer dann, wenn das KI-System nach dem Inverkehrbringen wesentlich modifiziert wird – ein Begriff, den sowohl die MDR als auch die KI-Verordnung kennen, aber nicht vollständig deckungsgleich definieren.

Die DSGVO (Datenschutz-Grundverordnung, Verordnung (EU) 2016/679) bildet im Zusammenspiel mit der KI-Verordnung eine eigenständige, additive Regulierungsebene. Medizinische KI-Systeme verarbeiten regelmäßig Gesundheitsdaten, die nach Art. 9 DSGVO als besondere Kategorie personenbezogener Daten besonderen Schutz genießen.

Für Medizintechnikunternehmen ergibt sich daraus ein mehrschichtiges Anforderungsprofil:

• Rechtliche Grundlage (Art. 6, 9 DSGVO): Jede Verarbeitung von Patientendaten durch KI-Systeme bedarf einer expliziten Rechtsgrundlage – in der Regel ausdrückliche Einwilligung oder ein erhebliches öffentliches Interesse in Verbindung mit geeigneten Garantien.
• Datenschutz-Folgenabschätzung (Art. 35 DSGVO): Bei hochriskanter Verarbeitung von Gesundheitsdaten – was bei diagnostischen KI-Systemen regelmäßig der Fall ist – zwingend durchzuführen, bevor die Verarbeitung aufgenommen wird.
• Verbot automatisierter Einzelentscheidungen (Art. 22 DSGVO): Soweit ein KI-System eine rechtlich oder ähnlich erheblich wirkende Entscheidung allein automatisiert trifft, besteht ein grundsätzliches Verbot – mit engen Ausnahmen.
• Datenminimieriung und Zweckbindung: Trainingsdaten für medizinische KI-Modelle dürfen nicht ohne weiteres für andere Zwecke genutzt werden; Pseudonymisierung ist in der Regel zwingend.

Meldung von Datenschutzverletzungen: Bei einer Sicherheitsverletzung, die zu unberechtigtem Zugriff auf Patientendaten führt, gilt die 72-Stunden-Meldefrist gegenüber der zuständigen Datenschutzbehörde (Art. 33 DSGVO) – ohne Rücksicht darauf, ob das betroffene System auch nach der KI-Verordnung meldepflichtig ist. Beide Meldepflichten bestehen kumulativ.

Die KI-Verordnung sieht ein dreistufiges Sanktionssystem vor. Bei Verstößen gegen das Verbot unzulässiger KI-Praktiken (Art. 5 KI-VO) drohen Bußgelder von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes – je nachdem, welcher Betrag höher ist. Bei sonstigen Verstößen gegen Hochrisiko-Anforderungen beläuft sich die Obergrenze auf 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes. Für die Erteilung falscher oder irreführender Informationen gegenüber Behörden gilt ein Rahmen von bis zu 7,5 Millionen Euro oder 1 % des Umsatzes.

Für mittelständische Unternehmen ist die umsatzbezogene Komponente besonders relevant: Bei einem Jahresumsatz von 50 Millionen Euro können Sanktionen in der Größenordnung von 1,5 bis 3,5 Millionen Euro eintreten – Größenordnungen, die existenzgefährdend wirken können.

Zur persönlichen Haftung von Geschäftsführern: Die KI-Verordnung richtet sich primär an das Unternehmen als juristische Person. Eine persönliche Haftung des Geschäftsführers kann sich jedoch aus dem nationalen Recht ergeben – insbesondere wenn er Organisationspflichten verletzt hat, die zu dem Verstoß geführt haben. Im deutschen GmbH-Recht besteht zudem die Pflicht, ein angemessenes Compliance-Management-System vorzuhalten; dessen Fehlen kann im Haftungsfall erschwerend wirken.

Hinzu kommen mögliche Sanktionen nach der DSGVO: bis zu 20 Millionen Euro oder 4 % des weltweiten Jahresumsatzes (Art. 83 DSGVO) – die unabhängig von KI-Verordnungs-Bußgeldern verhängt werden können.

Die KI-Verordnung unterscheidet scharf zwischen Anbietern (Herstellern) und Betreibern (Deployers). Betreiber sind Unternehmen oder Einrichtungen, die ein Hochrisiko-KI-System im beruflichen Kontext einsetzen – ohne es selbst entwickelt zu haben. Auch diese Gruppe trifft ein substanzieller Pflichtenkatalog.

Zentrale Betreiberpflichten nach Art. 26 KI-VO:

• Verwendung ausschließlich gemäß dem vom Anbieter festgelegten Verwendungszweck und nach dessen Anweisungen;
• Zuweisung menschlicher Aufsicht an geeignetes, geschultes Personal;
• Überwachung des Systembetriebs auf anomales Verhalten und Risiken;
• Meldung schwerwiegender Vorfälle und Fehlfunktionen an den Anbieter;
• Führung von Protokollen über den Betrieb, soweit dies technisch möglich ist.

Besonders relevant für Medizintechnik-Betreiber: Wer ein diagnostisches KI-System anpasst, auf andere als die vorgesehenen Patientengruppen ausweitet oder auf eigene Patientendaten nachtrainiert, kann nach Art. 28 KI-VO rechtlich die Stellung eines Anbieters übernehmen – mit sämtlichen damit verbundenen Konformitätspflichten. Diese Vorschrift ist in der Praxis eine der am meisten unterschätzten Regelungen des EU AI Act.

Verträge mit KI-Dienstleistern, Systemintegratoren oder Datenlieferanten müssen die Konformitätspflichten der KI-Verordnung reflektieren. Wer als Auftraggeber ein Hochrisiko-KI-System entwickeln lässt, muss bereits im Entwicklungsvertrag sicherstellen, dass der Auftragnehmer die Anforderungen der KI-Verordnung erfüllt und die notwendige Dokumentation liefert.

Für die Vertragsgestaltung bedeutet dies konkret: Gewährleistungsklauseln sollten explizit die Konformität mit der KI-Verordnung umfassen. Dokumentationspflichten des Auftragnehmers – insbesondere bezüglich Trainingsdaten, Architektur und Leistungsmetriken – sind als Hauptleistungspflicht zu formulieren. Darüber hinaus sind Mitwirkungspflichten für spätere Konformitätsbewertungen, Marktüberwachungsverfahren und behördliche Auskunftsersuchen zu regeln.

Ein weiterer Aspekt betrifft die Open-Source-Nutzung: KI-Modelle, die als Basismodelle unter Open-Source-Lizenzen verfügbar sind, genießen nach der KI-Verordnung unter bestimmten Bedingungen Erleichterungen. Diese gelten jedoch nicht, wenn das Modell zu einem Hochrisiko-KI-System integriert wird – dann trägt der Integrator die vollständige Anbieterpflicht.

Nicht alle KI-Systeme, die ein Medizintechnikunternehmen einsetzt, dienen der Produktentwicklung oder dem Medizinprodukt selbst. Viele Unternehmen nutzen KI-Systeme für interne Prozesse: Personalentscheidungen, Qualitätskontrolle, Lieferkettenoptimierung, Buchhaltung oder Kundenkommunikation.

Die KI-Verordnung erfasst auch diese internen Systeme, wenn sie in die Hochrisiko-Kategorien des Anhangs III fallen. Besonders relevant ist Anhang III Nr. 2 (Bildung/Ausbildung) und Nr. 4 (Beschäftigung und Arbeitskräftemanagement): KI-gestützte Systeme zur Bewerberauswahl, Leistungsbewertung oder Arbeitszuteilung sind als Hochrisiko eingestuft und lösen Konformitätspflichten aus – auch wenn das eingesetzte Unternehmen kein KI-Anbieter ist, sondern lediglich Betreiber.

Für Geschäftsführer gilt daher: Vor der Einführung jedes KI-Systems im Unternehmenskontext ist eine strukturierte Risikoklassifizierung durchzuführen. Ein ad-hoc-Einsatz kommerzieller KI-Tools ohne vorherige Prüfung der Klassifizierungsfrage ist unter der KI-Verordnung riskant – insbesondere dann, wenn diese Tools auch Entscheidungen über Mitarbeiter, Kunden oder Produkte beeinflussen.

Die KI-Verordnung enthält in Titel VIII (Art. 51 ff.) spezifische Anforderungen für KI-Modelle mit allgemeinem Verwendungszweck (General Purpose AI Models, GPAI). Hierunter fallen große Sprachmodelle (Large Language Models, LLM) und multimodale Modelle, die für eine Vielzahl von Aufgaben eingesetzt werden können.

Anbieter von GPAI-Modellen müssen technische Dokumentation erstellen, Urheberrechts-Compliance sicherstellen und eine Zusammenfassung der Trainingsdaten veröffentlichen. Für Modelle mit besonders hohem systemischen Risiko – definiert durch einen Trainingsrechenaufwand von mehr als 10^25 FLOP – gelten verschärfte Anforderungen, darunter Modellbewertungen, Meldepflichten und Cybersicherheitsmaßnahmen.

Für Medizintechnikunternehmen ist die Frage relevant, wenn sie GPAI-Modelle in eigene Anwendungen integrieren. Die KI-Verordnung unterscheidet hier: Wer ein GPAI-Modell in ein Hochrisiko-KI-System integriert, bleibt für die Hochrisiko-Compliance vollständig verantwortlich – unabhängig davon, ob der GPAI-Anbieter seinerseits konform ist. Die Compliance-Pflicht wandert nicht durch die Lieferkette. Dies ist ein Aspekt, der in der Vertragsgestaltung mit Technologiepartnern besonderer Aufmerksamkeit bedarf.

Die KI-Verordnung verlangt keine starr vorgeschriebene Organisationsstruktur, aber sie setzt implizit voraus, dass im Unternehmen klare Verantwortlichkeiten für KI-Compliance bestehen. Für Geschäftsführer mittelständischer Medizintechnikunternehmen empfiehlt sich folgendes Grundgerüst:

• KI-Bestandsaufnahme: Vollständige Erfassung aller im Unternehmen eingesetzten und entwickelten KI-Systeme – einschließlich kommerzieller Tools, interner Entwicklungen und beauftragter Systeme.
• Risikoklassifizierung: Zuordnung jedes Systems zu den Kategorien der KI-Verordnung (unzulässig, Hochrisiko, begrenztes Risiko, minimales Risiko) – dokumentiert und von einem Berufsträger oder einer befähigten Person geprüft.
• Compliance-Fahrplan: Für jedes Hochrisiko-System: Lückenanalyse gegen die Anforderungen der Art. 9–17 KI-VO; priorisierter Maßnahmenplan mit Verantwortlichen und Meilensteinen.
• Vertragsanpassungen: Prüfung bestehender Entwicklungs- und Dienstleistungsverträge auf KI-Verordnungs-Compliance; Anpassung von Lieferanten- und Kundenverträgen.
• Schulung und Awareness: Relevante Mitarbeiter in Produktentwicklung, Qualitätsmanagement und IT müssen die Anforderungen kennen und umsetzen können.
• Monitoring: Laufende Beobachtung von delegierten Rechtsakten, harmonisierten Normen und behördlicher Auslegungspraxis – die KI-Verordnung ist ein lebendiges Regelwerk, das sich durch Sekundärrecht konkretisiert.

Nach unserer Erfahrung in der Mandatspraxis scheitern KI-Governance-Projekte im Mittelstand weniger an mangelndem Willen als an unklarer Verantwortungszuweisung: Wenn KI-Compliance zwischen IT, Regulatory Affairs und Geschäftsführung aufgeteilt ist, ohne dass eine Stelle die Koordination übernimmt, entsteht ein strukturelles Compliance-Risiko.

Der Zeitdruck ist real. Die Hauptanwendungsphase für Hochrisiko-KI beginnt zum 2. August 2026; wer jetzt mit der Bestandsaufnahme beginnt, hat unter normalen Umständen ausreichend Zeit – wer wartet, riskiert, unter erheblichem Zeitdruck in die Konformitätsbewertung zu gehen.

Empfohlene Sofortmaßnahmen:

1. KI-Inventar erstellen: Innerhalb von 30 bis 60 Tagen alle eingesetzten und entwickelten KI-Systeme erfassen – strukturiert nach Funktion, Einsatzbereich und Datengrundlage.
2. Vorläufige Risikoklassifizierung: Auf Basis der Anhänge I und III der KI-Verordnung eine erste Einordnung vornehmen; Hochrisiko-Systeme priorisieren.
3. Schnittstelle zum MDR-QMS identifizieren: Bestehende Qualitätsmanagement-Strukturen auf Anknüpfungspunkte für KI-Anforderungen analysieren; Doppelregulierungspflichten frühzeitig erkennen.
4. Vertragliche Grundlagen prüfen: Entwicklungs- und Lizenzverträge für KI-Systeme auf Konformitäts- und Dokumentationspflichten durchsehen.
5. Rechtliche Begleitung sicherstellen: Die Schnittstelle zwischen KI-Verordnung, MDR/IVDR und DSGVO erfordert interdisziplinäre Expertise – eine frühzeitige anwaltliche Begleitung verhindert kostspielige Nachbesserungen.

Die vorstehende Darstellung betrifft die wesentlichen Regelfälle. Ihr konkretes KI-System und Ihre Compliance-Situation erfordern die Prüfung der spezifischen technischen Funktionen, der vertraglichen Struktur und der einschlägigen Sekundärrechtsakte.

Für eine strukturierte Risikoklassifizierung Ihrer KI-Systeme und eine erste Einschätzung Ihres Handlungsbedarfs nach der KI-Verordnung schreiben Sie uns an info@brandtfalk.com. Wir unterstützen Medizintechnikunternehmen bei der Risikoklassifizierung, der technischen Dokumentation und der Vertragsgestaltung mit KI-Dienstleistern.