Ein pharmazeutischer Mittelständler führt ein KI-gestütztes System zur automatisierten Qualitätskontrolle ein. Ein Chemieproduzent nutzt Machine-Learning-Algorithmen für die Prognose von Lieferausfällen und die Steuerung gefährlicher Prozessanlagen. Beide Szenarien klingen nach betriebswirtschaftlichem Fortschritt – und beide begründen seit dem Inkrafttreten der europäischen Verordnung über Künstliche Intelligenz unmittelbar konkrete Rechtspflichten, deren Nichterfüllung empfindliche Sanktionen nach sich zieht.
Der EU AI Act (Verordnung (EU) 2024/1689 über Künstliche Intelligenz, im Folgenden: KI-VO) ist seit dem 1. August 2024 in Kraft und gilt stufenweise ab dem 2. Februar 2025; für Hochrisiko-KI-Systeme gelten die vollständigen Anforderungen ab dem 2. August 2026. Er verpflichtet Unternehmen als Anbieter oder Betreiber von KI-Systemen zu Risikoklassifizierung, Dokumentation, Konformitätsbewertung und internem Governance-System – und er trifft die Chemie- und Pharmaindustrie mit besonderer Intensität, weil dort sowohl sicherheitskritische Produktionsprozesse als auch regulierte Arzneimittelzulassungsverfahren betroffen sein können. Für Geschäftsführer im Mittelstand bedeutet dies: Handlungsbedarf besteht jetzt, nicht erst im Anwendungsmonat.
Der vorliegende Beitrag erläutert den Rechtsrahmen, ordnet die branchenspezifischen Risikoprofile ein, benennt konkrete Pflichten und zeigt, wie BRANDT & FALK Rechtsanwälte Ihr Unternehmen bei der regelkonformen Einführung und dem Betrieb von KI-Systemen begleitet.
Was verlangt die KI-Verordnung von Unternehmen in der Chemie- und Pharmaindustrie?
Die KI-VO ordnet KI-Systeme nach einem abgestuften Risikomodell in vier Kategorien ein: verbotene Praktiken, Hochrisiko-Systeme, Systeme mit begrenztem Risiko und Systeme mit minimalem Risiko. Für die Chemie- und Pharmaindustrie ist die Kategorie der Hochrisiko-KI-Systeme von besonderer Relevanz. Systeme, die in Sicherheitskomponenten kritischer Infrastrukturen eingesetzt werden oder die Sicherheit von Produkten im Sinne der Produktsicherheits- und Arzneimittelgesetzgebung beeinflussen, können in diesen Anwendungsbereich fallen.
Für Hochrisiko-KI-Systeme verlangt die KI-VO unter anderem ein Risikomanagementsystem, technische Robustheitsnachweise, umfangreiche Dokumentation sowie eine Konformitätsbewertung vor dem Inverkehrbringen. Hinzu kommt die Pflicht zur Registrierung in der EU-Datenbank für Hochrisiko-KI-Systeme. Die genaue Einordnung hängt vom konkreten Verwendungszweck ab – und dieser Prüfungsschritt ist häufig der entscheidende.
In der Mandatspraxis sehen wir, dass Unternehmen der Chemie- und Pharmaindustrie die KI-VO zunächst als regulatorisches Fernproblem wahrnehmen – bis sie im Rahmen einer ersten Bestandsaufnahme feststellen, dass bereits eingesetzte Systeme zur Prozesssteuerung, Qualitätsprüfung oder Rohstoffplanung klassifizierungspflichtig sind. Wer jetzt handelt, schafft sich den notwendigen Vorlauf für die Implementierung von Governance-Strukturen, bevor die vollen Sanktionsschwellen greifen.
Welche KI-Anwendungen in der Chemie und Pharma sind besonders kritisch?
Die Bandbreite des KI-Einsatzes in diesen Branchen ist erheblich: Algorithmen zur Steuerung chemischer Reaktoren und Druckanlagen, KI-gestützte Bildauswertung in der pharmazeutischen Produktionskontrolle, Machine-Learning-Modelle in der klinischen Studiendatenanalyse, prädiktive Systeme in der Lager- und Gefahrgutlogistik sowie automatisierte Entscheidungsassistenten in der Zulassungsdokumentation. Das Risikoprofil dieser Anwendungen variiert erheblich.
Besondere Aufmerksamkeit verdienen drei Konstellationen. Erstens: KI-Systeme als Sicherheitskomponente in Produktionsanlagen mit Gefahrstoffbezug – diese können als Hochrisiko-Systeme im Sinne des Anhangs II der KI-VO einzuordnen sein, sofern das Scheitern des Systems zu Personenschäden oder Umweltschäden führen kann. Zweitens: KI-Anwendungen in der Arzneimittelentwicklung und -zulassung, insbesondere wenn sie in regulierte Bereiche der Guten Herstellungspraxis (GMP) oder in klinische Datenauswertungen eingreifen. Drittens: KI-gestützte Personalentscheidungen, etwa in der Schichtplanung oder bei Leistungsbeurteilungen – diese berühren neben der KI-VO auch das Datenschutzrecht nach der DSGVO.
Die Schnittmenge von KI-VO und DSGVO ist für Pharmaunternehmen besonders komplex, weil die Verarbeitung von Gesundheitsdaten in klinischen Kontexten sowohl Art. 83 DSGVO (Bußgeld bis 20 Mio. € oder 4 % des weltweiten Jahresumsatzes) als auch die KI-VO-Sanktionsregeln aktivieren kann. Wer beide Regelwerke nicht koordiniert betrachtet, riskiert doppelten Pflichtenverstoß.
Risikoklassifizierung als erster Pflichtschritt: Wie geht man vor?
Die Risikoklassifizierung ist der Ausgangspunkt jeder regelkonformen KI-Governance. Sie bestimmt, welche Anforderungen für ein konkretes System gelten und welcher Zeitplan für die Compliance-Umsetzung realistisch ist. Methodisch folgt sie einem dreistufigen Prüfpfad.
Im ersten Schritt ist zu klären, ob das betreffende System überhaupt als „KI-System" im Sinne der KI-VO definiert ist. Die Verordnung legt einen breiten, aber nicht unbegrenzten Definitionsrahmen fest; klassische regelbasierte Automatisierungssysteme ohne Lernkomponente fallen häufig nicht darunter. Im zweiten Schritt prüft man, ob das System einer verbotenen Praxis entspricht – was für typische Industrieanwendungen in der Regel zu verneinen ist, aber im Einzelfall sorgfältig analysiert werden muss. Im dritten Schritt erfolgt die Einordnung in die Hochrisiko-Kategorie anhand der Anhänge I und III der KI-VO sowie der jeweils einschlägigen Produktsicherheitsrichtlinien.
Nach unserer Erfahrung dauert eine solide erste Klassifizierung für einen mittelständischen Chemie- oder Pharmabetrieb mit drei bis zehn im Einsatz befindlichen KI-Systemen zwischen vier und acht Wochen – vorausgesetzt, die technische Dokumentation der Systeme liegt in strukturierter Form vor. Fehlt diese Dokumentation, verlängert sich der Vorlauf erheblich. Wer das erst ab dem zweiten Quartal 2026 in Angriff nimmt, gerät in Zeitnot.
Pflichten des Betreibers: Was muss die Geschäftsführung konkret sicherstellen?
Die KI-VO unterscheidet zwischen Anbietern (die ein KI-System entwickeln oder in Verkehr bringen) und Betreibern (die ein KI-System unter ihrer Verantwortung einsetzen). Für mittelständische Chemie- und Pharmaunternehmen, die KI-Systeme von Drittanbietern beziehen und intern einsetzen, ist in aller Regel die Betreiberrolle einschlägig – mit einem eigenen, klar definierten Pflichtenkatalog.
Betreiber von Hochrisiko-KI-Systemen müssen nach der KI-VO geeignete technische und organisatorische Maßnahmen ergreifen, eine menschliche Aufsicht sicherstellen und den Betrieb des Systems entsprechend der Bedienungsanleitung des Anbieters gewährleisten. Darüber hinaus sind sie verpflichtet, schwerwiegende Vorkommnisse und Fehlfunktionen zu melden. Die Geschäftsführung ist gehalten, intern klare Verantwortlichkeiten zuzuweisen – vergleichbar einer Datenschutzbeauftragten-Struktur, aber mit erweitertem technisch-regulatorischem Mandat.
Aus gesellschaftsrechtlicher Perspektive ist der Befund eindeutig: KI-Compliance ist Aufgabe der Geschäftsleitung. Eine fehlende oder unzureichende Risikoklassifizierung, eine nicht dokumentierte Konformitätsbewertung oder das Unterlassen der Anbieterprüfung können als Verletzung der Sorgfaltspflichten des Geschäftsführers gewertet werden – mit persönlichen Haftungsfolgen nach den allgemeinen Grundsätzen des GmbH-Rechts. Wir beraten regelmäßig Geschäftsführer inhabergeführter Unternehmen, die sich über diesen Zusammenhang erstmalig im Klaren werden, wenn ein Betriebsvorfall eintritt.
Wie wirkt die KI-VO im Zusammenspiel mit der DSGVO?
Für Unternehmen der Pharmabranche, die mit Gesundheits- oder Patientendaten arbeiten, fügt sich die KI-VO in ein bestehendes dichtes Regelwerk ein: Die DSGVO verlangt für vollautomatisierte Entscheidungen mit erheblicher Auswirkung auf natürliche Personen bereits heute eine spezifische Rechtsgrundlage und ein Widerspruchsrecht (Art. 22 DSGVO). Datenschutz-Folgenabschätzungen (DSFA) sind bei risikoreichen Datenverarbeitungsformen Pflicht. Datenschutzverletzungen sind der zuständigen Behörde binnen 72 Stunden zu melden (Art. 33 DSGVO).
Die KI-VO ergänzt und überlagert diesen Rahmen teilweise. Sie stellt eigene Anforderungen an Transparenz, Protokollierung und menschliche Aufsicht, die sich mit den DSGVO-Rechenschaftspflichten überschneiden, aber nicht deckungsgleich sind. Für die Praxis bedeutet dies: Wer eine KI-Folgenabschätzung nach der KI-VO durchführt, sollte diese mit der DSFA nach der DSGVO koordinieren, um redundante Aufwände zu vermeiden und zugleich Regelungslücken zu schließen. Eine isolierte Betrachtung der beiden Regime erzeugt systematisch Blindstellen.
Besonders relevant ist die Frage des Auftragsverarbeitungsvertrags (AVV) nach Art. 28 DSGVO beim Einsatz von KI-Diensten externer Anbieter. Wenn ein Pharmaunternehmen einen SaaS-basierten KI-Dienst für die Auswertung klinischer Daten nutzt, ist in der Regel ein AVV erforderlich – und es muss zudem geprüft werden, ob der Anbieter als Auftragsverarbeiter oder als eigenständiger Verantwortlicher agiert. Diese Abgrenzung hat unmittelbare Folgen für die Haftungsverteilung und die Bußgeldexposition nach Art. 83 DSGVO.
Mikro-Fall: KI-gestützte Qualitätskontrolle in der pharmazeutischen Produktion
Sachverhalt: Ein mittelständisches Pharmaunternehmen mit rund 280 Mitarbeitern führte ein KI-basiertes Bildauswertungssystem zur automatisierten Sichtprüfung von Tabletten in der Endverpackungslinie ein. Das System stammte von einem europäischen Technologieanbieter und war als „Qualitätssicherungslösung" vermarktet.
Ausgangslage: Das Unternehmen hatte weder eine Risikoklassifizierung nach der KI-VO vorgenommen noch geprüft, ob das System als Hochrisiko-System im Sinne der Verordnung einzuordnen ist. Die Geschäftsführung war unsicher, ob und in welcher Weise der Anbieter die Konformitätsbewertungspflichten erfüllt hatte und welche Restpflichten auf Betreiberseite verbleiben.
Vorgehen: Die Kanzlei führte zunächst eine strukturierte Klassifizierungsprüfung durch. Im Ergebnis wurde das System als potentiell hochrisikorelevant eingestuft, da es eine Sicherheitsfunktion in einem regulierten Arzneimittelherstellungsprozess übernimmt. Parallel wurde der Anbietervertrag auf Konformitätszusagen und Haftungsverteilung geprüft sowie eine interne Betreiber-Checkliste entwickelt.
Ergebnis: Das Unternehmen konnte den Einsatz des Systems rechtssicher fortführen, nachdem ergänzende vertragliche Regelungen mit dem Anbieter vereinbart und die interne Governance-Dokumentation abgeschlossen wurden. Eine drohende Zwangslage kurz vor dem Anwendungsstichtag der KI-VO wurde vermieden.
Sanktionen und Durchsetzung: Was steht auf dem Spiel?
Die KI-VO sieht ein gestuftes Bußgeldsystem vor. Der Einsatz verbotener KI-Praktiken kann mit Bußgeldern bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes geahndet werden – je nachdem, welcher Betrag höher ist. Verstöße gegen Hochrisiko-Anforderungen können mit bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes sanktioniert werden. Falsche oder unvollständige Informationen gegenüber der Marktaufsicht können mit bis zu 7,5 Millionen Euro oder 1 % des weltweiten Jahresumsatzes geahndet werden.
Diese Werte sind in der KI-VO selbst festgelegt und für KMU sieht die Verordnung ausdrücklich vor, dass bei der Bemessung der Bußgelder auch auf die wirtschaftliche Tragfähigkeit des Unternehmens Rücksicht genommen werden soll – eine Erleichterung, die aber nicht als Entlastung von den Grundpflichten missverstanden werden darf. Für den deutschen Mittelstand bedeutet das in der Praxis: Auch ein inhabergeführtes Chemieunternehmen mit 50 Millionen Euro Jahresumsatz kann in den Bereich erheblicher Sanktionsbeträge geraten.
Hinzu tritt die zivilrechtliche Dimension. Verursacht ein fehlerhaft betriebenes Hochrisiko-KI-System einen Schaden – etwa durch einen fehlerhaften Produktionssteuerungseingriff –, stehen neben den behördlichen Bußgeldern auch Schadensersatzansprüche im Raum. Die Haftungsverteilung zwischen Anbieter und Betreiber wird durch die Vertragsgestaltung erheblich beeinflusst. Schlecht verhandelte Lizenzbedingungen führen in solchen Konstellationen regelmäßig dazu, dass der Betreiber auf dem Schaden sitzen bleibt.
Was sollten Geschäftsführer jetzt konkret tun?
Fünf Maßnahmen lassen sich als unmittelbare Handlungsempfehlung formulieren, unabhängig davon, wie weit ein Unternehmen in der KI-VO-Vorbereitung bereits fortgeschritten ist.
- KI-Inventar erstellen: Erfassen Sie alle im Unternehmen eingesetzten oder geplanten KI-Systeme – einschließlich solcher, die von einzelnen Fachabteilungen eigenverantwortlich beschafft wurden. Der blinde Fleck bei der abteilungsindividuellen Beschaffung ist in der Chemie- und Pharmaindustrie besonders verbreitet.
- Klassifizierung durchführen: Für jedes System ist rechtlich zu klären, ob es unter die KI-VO fällt und welcher Risikokategorie es zuzuordnen ist. Diese Prüfung erfordert sowohl technisches Verständnis des Systemdesigns als auch rechtliche Wertung anhand der Anhänge der KI-VO.
- Anbieterverträge prüfen: Klären Sie, welche KI-VO-Konformitätspflichten Ihr Anbieter übernimmt und welche Restpflichten bei Ihnen als Betreiber verbleiben. Viele Standardverträge sind in diesem Punkt lückenhaft.
- Interne Governance etablieren: Benennen Sie interne Verantwortlichkeiten, schaffen Sie Dokumentationsprozesse und verknüpfen Sie diese mit Ihrem bestehenden Datenschutz-Management nach der DSGVO.
- Fristen im Blick behalten: Die vollen Hochrisiko-Anforderungen der KI-VO gelten ab dem 2. August 2026. Für Systeme, die bereits heute im Einsatz sind, läuft die Zeit. Planen Sie den Vorlauf realistisch – Klassifizierung, Dokumentation und ggf. Nachverhandlungen mit Anbietern benötigen Monate, nicht Wochen.
Aus dem Blickwinkel der Unternehmensführung ist die KI-VO kein reines IT-Compliance-Thema. Sie berührt Vertragsrecht, Haftungsrecht, Datenschutz und je nach Branche auch das Arzneimittel- oder Chemikalienrecht. Eine isolierte Bearbeitung in einer einzigen Fachabteilung führt erfahrungsgemäß zu Koordinationsdefiziten, die sich erst im Prüfungsfall zeigen – dann aber mit unangenehmem Timing.
Die vorstehende Darstellung betrifft die Regelfälle und den allgemeinen Rechtsrahmen. Ihr konkreter Fall erfordert die Prüfung Ihrer spezifischen KI-Systeme, Ihrer Vertragsunterlagen und der einschlägigen Anwendungsfristen. Zur Klärung, wie die KI-VO auf Ihr Unternehmen und Ihre eingesetzten Systeme wirkt, wenden Sie sich an info@brandtfalk.com.
Verwandte Leistungen
Häufige Fragen zum KI-Einsatz in der Chemie- und Pharmaindustrie
Ab wann gilt die KI-Verordnung vollständig für Hochrisiko-KI-Systeme?
Die KI-VO ist seit dem 1. August 2024 in Kraft und gilt gestaffelt. Verbotene KI-Praktiken sind seit dem 2. Februar 2025 untersagt. Die vollständigen Anforderungen für Hochrisiko-KI-Systeme – einschließlich Konformitätsbewertung, Dokumentationspflichten und Registrierungspflicht – gelten ab dem 2. August 2026. Für Unternehmen, die bereits heute Hochrisiko-Systeme einsetzen oder planen, ist dieser Anwendungsstichtag der maßgebliche Planungshorizont. Angesichts der erforderlichen Vorbereitungszeit sollte die Klassifizierung nicht auf das erste Quartal 2026 verschoben werden.
Ist mein Unternehmen Anbieter oder Betreiber im Sinne der KI-VO?
Anbieter ist, wer ein KI-System entwickelt oder unter eigenem Namen in Verkehr bringt. Betreiber ist, wer ein KI-System unter eigener Verantwortung einsetzt. Mittelständische Unternehmen der Chemie- und Pharmaindustrie, die KI-Systeme von Drittanbietern beziehen und betreiben, agieren in der Regel als Betreiber. Die Betreiberrolle ist mit einem eigenen, von der Anbieterrolle unabhängigen Pflichtenkatalog verbunden – insbesondere hinsichtlich menschlicher Aufsicht, interner Dokumentation und Vorkommnismeldung.
Welche Bußgelder drohen bei Verstößen gegen die KI-VO?
Die KI-VO sieht ein dreistufiges Sanktionssystem vor: Verstöße durch verbotene KI-Praktiken können mit bis zu 35 Mio. € oder 7 % des weltweiten Jahresumsatzes geahndet werden. Verstöße gegen Hochrisiko-Anforderungen können bis zu 15 Mio. € oder 3 % des weltweiten Jahresumsatzes nach sich ziehen. Falsche Angaben gegenüber Behörden können bis zu 7,5 Mio. € oder 1 % des Jahresumsatzes kosten. Für KMU sieht die Verordnung Milderungsspielräume vor, die jedoch nicht von der Einhaltung der Grundpflichten entbinden.
Muss ich als Betreiber eine Konformitätsbewertung selbst durchführen?
Bei Hochrisiko-KI-Systemen liegt die Pflicht zur Konformitätsbewertung primär beim Anbieter. Als Betreiber sind Sie jedoch verpflichtet zu prüfen, ob der von Ihnen eingesetzte Anbieter dieser Pflicht nachgekommen ist, und sicherzustellen, dass das System entsprechend der Anbieter-Dokumentation eingesetzt wird. Darüber hinaus treffen den Betreiber eigene Pflichten, etwa hinsichtlich der Anpassung von Systemen an den konkreten Verwendungskontext. Diese Abgrenzung sollte vertraglich klar geregelt sein.
Wie verhält sich die KI-VO zur DSGVO in der Pharmaindustrie?
KI-VO und DSGVO ergänzen einander, sind aber nicht deckungsgleich. Die DSGVO regelt den Schutz personenbezogener Daten und stellt bei automatisierten Entscheidungen mit erheblicher Auswirkung spezifische Anforderungen (Art. 22 DSGVO). Die KI-VO setzt unabhängig davon Anforderungen an Risikomanagement, technische Robustheit und Transparenz. Pharmaunternehmen, die KI-Systeme mit Gesundheitsdaten betreiben, müssen beide Regelwerke koordiniert erfüllen. Datenschutzverstöße können dabei eigenständige Bußgeldtatbestände nach Art. 83 DSGVO begründen – bis zu 20 Mio. € oder 4 % des weltweiten Jahresumsatzes.
Was gilt für bereits laufende KI-Systeme, die vor dem Inkrafttreten der KI-VO eingeführt wurden?
Die KI-VO enthält Übergangsregelungen für bestehende Systeme. Hochrisiko-KI-Systeme, die vor dem 2. August 2026 bereits in Betrieb sind, können unter bestimmten Voraussetzungen von Ausnahmen profitieren – allerdings nur, wenn an ihnen keine wesentlichen Änderungen vorgenommen werden. Was als „wesentliche Änderung" gilt, ist nach den Maßstäben der Verordnung zu beurteilen. In der Praxis erfordert dies eine rechtliche Prüfung im Einzelfall. Wer bestehende Systeme ohne diese Prüfung weiterentwickelt, riskiert, dass der Bestandsschutz entfällt.
Die vorstehende Darstellung betrifft die typischen Konstellationen des KI-Einsatzes in der Chemie- und Pharmaindustrie. Ihr konkreter Fall erfordert die individuelle Prüfung Ihrer Systeme, Vertragswerke und Fristen. Für eine erste Durchsicht Ihrer Unterlagen und eine fachliche Einschätzung Ihrer Compliance-Situation erreichen Sie uns unter info@brandtfalk.com.
Dieser Beitrag dient ausschließlich der allgemeinen Information und stellt keine Rechtsberatung im Einzelfall dar. Er ersetzt nicht die anwaltliche Prüfung Ihres konkreten Sachverhalts. Für eine auf Ihre Situation zugeschnittene Beratung wenden Sie sich an info@brandtfalk.com.
Dieser Beitrag ist eine allgemeine Information und stellt keine Rechtsberatung dar. Für eine Prüfung Ihres Falls kontaktieren Sie info@brandtfalk.com.