Vom vermeintlichen Bremsklotz zum Gütesiegel: Wie der EU AI Act Qualität zur härtesten Währung macht
von Alexander Lewisch
Warum Compliance keine reine Pflichtübung ist, sondern das Fundament für Digital Trust in einer KI-geprägten Welt
Einleitung - Die informationstechnische Notwendigkeit von „Digital Trust“
Die rasante Verbreitung generativer und prädiktiver KI-Systeme in den operativen Geschäftsalltag hat die informationstechnischen Paradigmen der letzten Jahre grundlegend verschoben. Während in der frühen Phase der KI-Adaption primär die algorithmische Leistungsfähigkeit (Performance) im Fokus der Entwicklung stand, zeigt die empirische Akzeptanzforschung mittlerweile ein differenzierteres Bild. Die rein technische Kapazität eines Systems ist keine hinreichende Bedingung für dessen nachhaltige Nutzung. Modelle wie das Technology Acceptance Model (TAM) belegen, dass bei komplexen, nicht-deterministischen Systemen das Konstrukt „Vertrauen“ als essenziell vermittelnde Variable fungiert. Wenn Nutzer und Stakeholder die Entscheidungsprozesse eines Algorithmus als intransparent wahrnehmen, sinken die wahrgenommene Nützlichkeit und damit die Nutzungsintention drastisch. Digital Trust ist somit keine bloße Marketingmetapher, sondern eine quantifizierbare Prämisse für die Technologieakzeptanz.1
In diesem kritischen Stadium der Technologieentwicklung greift der EU AI Act als regulatorischer Mechanismus ein. In der öffentlichen und oft populärwissenschaftlichen Debatte wird die Verordnung häufig als innovationshemmende Restriktion wahrgenommen. Da es Anwendern aufgrund der enormen Komplexität unmöglich ist, die Sicherheit und Fairness eines Modells selbst zu evaluieren, etabliert der Gesetzgeber Vertrauen auf institutionalisierter Ebene. Der AI Act fungiert somit nicht als Bremsklotz, sondern als stabilisierendes Element für ein drohendes Marktversagen im KI-Bereich.2
Unternehmen, die sich proaktiv an diesen Vorgaben ausrichten, transformieren Compliance von einer reinen Pflichtübung in einen strategischen Enabler. Die rechtlichen Anforderungen zwingen Organisationen zur Implementierung rigoroser IT-Governance-Strukturen, die weit über die gesetzlichen Mindeststandards hinaus betriebswirtschaftlichen Mehrwert generieren. Digital Trust wird zur „License to Operate“ in einer zunehmend automatisierten Wirtschaft, in der nachweisbare Software- und Datenqualität zur neuen Leitwährung avanciert.3
Der AI Act als ganzheitliches Framework für Software-Qualität
Bei einer rein juristischen Auslegung des EU AI Acts stehen Strafzahlungen, Risikoklassifizierungen und Dokumentationspflichten im Vordergrund. Überträgt man den Verordnungstext jedoch in die Domäne des Software Quality Engineering (SQE), so lässt er sich als detailliertes Framework für die Entwicklung und den Betrieb komplexer IT-Systeme lesen. Die Verordnung kodifiziert im Wesentlichen Best Practices der Softwarearchitektur für Systeme, die auf stochastischen statt auf deterministischen Prinzipien beruhen. Die Erwägungsgründe des Gesetzes korrespondieren dabei stark mit etablierten internationalen Normen, wie der ISO/IEC 25010 (System- und Software-Qualitätsmodelle) sowie spezifischen Standards für vertrauenswürdige AI, wie der ISO/IEC TR 24028 (vertrauenswürdige AI-Systeme). Der AI Act schließt damit die methodische Lücke zwischen agiler Softwareentwicklung und den Notwendigkeiten eines hochgradig verlässlichen IT-Betriebs.
Das Fundament der Qualitätsarchitektur bildet die Daten-Governance, die durch den AI Act von einer administrativen Empfehlung in den Rang einer rechtlich bindenden Voraussetzung erhoben wird. Da die Performanz von Machine-Learning-Modellen direkt mit der Beschaffenheit ihrer Trainingsdaten korreliert (Güte der Datensätze), fordert das Gesetz den Nachweis statistischer Repräsentativität und systematischen Bias-Managements (z.B. Disparate Impact Ratio, Statistical Parity). Dies zwingt IT-Abteilungen zur Etablierung durchgängiger Datenanalyse sowie valider Metadaten-Strukturen. Die Sicherstellung der Datenqualität wird somit zur unerlässlichen Bedingung für die rechtmäßige Inbetriebnahme von Hochrisiko-AI-Systemen und gleichzeitig zum effektivsten Instrument zur Minimierung algorithmischer Fehlentscheidungen. In einem Marktumfeld, in dem zahlreiche Anbieter AI-Lösungen implementieren, ist die tatsächliche Systemgüte für den Endkunden vorab verdeckt. Die stringente Konformität mit dem AI Act sowie die damit verbundene nachweisbare Exzellenz in der Software- und Datenqualität fungieren als starkes, glaubwürdiges Signal an den Markt. Es differenziert seriöse von qualitativ minderwertigen Anbietern und macht Qualität zu jenem Gütesiegel, das langfristig den Markterfolg sicherstellt und das Vertrauen von Stakeholdern und Regulierungsbehörden sichert.4

Die 3 Säulen des Vertrauens
Der Übergang von abstrakten normativen Anforderungen zu konkreten informationstechnischen Prozessen erfordert eine systematische Operationalisierung des Konstrukts „Vertrauen“. In der wissenschaftlichen Literatur zu soziotechnischen Systemen wird Vertrauen in künstliche Intelligenz maßgeblich durch die Dimensionen Verlässlichkeit, Erklärbarkeit und Kontrollierbarkeit determiniert. Der EU AI Act transformiert diese abstrakten ethischen Postulate in messbare technische Standards. Für die IT-Praxis bedeutet dies die Implementierung von drei zentralen Säulen, die das Fundament für rechtskonforme und vertrauenswürdige KI-Systeme bilden.5
Säule 1: Datenintegrität
Die Basis jedes maschinellen Lernmodells bilden dessen Trainings-, Validierungs- und Testdaten. Der Artikel 10 des AI Acts spezifiziert strenge Anforderungen an die Daten-Governance für Hochrisiko-Systeme. Die Qualitätssicherung darf sich nicht länger auf rein syntaktische Prüfungen beschränken, sondern muss semantische und statistische Integrität gewährleisten. Dies umfasst die systematische Untersuchung auf Verzerrungen (Bias) sowie die Sicherstellung der Repräsentativität der Datensätze im Hinblick auf den intendierten Anwendungskontext.6 Aus wissenschaftlicher Sicht ist bekannt, dass algorithmische Diskriminierung zumeist auf die Unausgewogenheit in den Trainingsdaten zurückzuführen ist. Die proaktive Datenpflege und die Etablierung robuster Datenkonzepte avancieren somit von einer administrativen Aufgabe zur juristisch bindenden Grundvoraussetzung für das Vertrauen in die Technologie.7
Säule 2: Menschliche Aufsicht
Technologische Autonomie findet im regulatorischen Rahmen des AI Acts klare Grenzen. Unter dem Paradigma der menschlichen Aufsicht (Art. 14 AI Act) fordert der Gesetzgeber zwingend die Implementierung von Mensch-Maschine-Schnittstellen (Human-in-the-Loop), die es menschlichen Akteuren ermöglichen, in den Entscheidungsprozess der KI einzugreifen, diesen zu überstimmen oder das System im Notfall vollständig zu deaktivieren.6 In der Disziplin der Mensch-Computer-Interaktion wird dieser Ansatz als „Human-Centered AI“ bezeichnet. Er zielt darauf ab, die Leistungsfähigkeit der Algorithmen mit menschlicher Urteilskraft und moralischer Verantwortlichkeit zu fusionieren. Die IT-Architektur muss folglich so konzipiert sein, dass sie nicht nur Entscheidungen automatisiert, sondern dem menschlichen Operator kontinuierlich kontextuelle Situationswahrnehmung (Situation Awareness) ermöglicht.8
Säule 3: Nachverfolgbarkeit und Aufzeichnungspflichten
Vertrauen in komplexe IT-Systeme erfordert zwingend algorithmische Verantwortlichkeit. Diese lässt sich nur realisieren, wenn Systementscheidungen nachträglich rekonstruierbar bleiben. Der AI Act manifestiert diese Anforderung in Artikel 12. IT-Systeme müssen mit umfassenden Logging-Mechanismen ausgestattet werden, die eine lückenlose Nachverfolgbarkeit von Inputs, Modellaktivitäten und Outputs gewährleisten. Diese automatisierten Protokolle dienen im Falle von Systemfehlern oder Audits als entscheidendes forensisches Beweismaterial.6 Die wissenschaftliche Debatte verdeutlicht, dass erst die methodische Auditierbarkeit die Transformation von einer Black Box zu einem transparenteren und akzeptierten Werkzeug ermöglicht.9
Qualität als Wettbewerbsvorteil
Die Implementierung der vom AI Act geforderten Qualitätsstandards ist zweifelsohne mit initialen Transaktions- und Opportunitätskosten verbunden. Reduziert man die Verordnung jedoch auf diese reine Kostenperspektive, verkennt man die fundamentale Informationsökonomie des europäischen Binnenmarktes. Eine unzureichende Daten- und Systemqualität gefährdet die Realisierung dieses Potenzials aber massiv. Der Wissenschaftliche Dienst des Europäischen Parlaments (EPRS) hat in einer weitreichenden Analyse quantifiziert, dass das Fehlen von Vertrauen und fragmentierte Regeln die Wirtschaft Milliarden kostet. Im Umkehrschluss kann ein einheitlicher, ethisch fundierter Qualitäts- und Rechtsrahmen für KI das europäische Bruttoinlandsprodukt bis 2030 um bis zu 294 Milliarden Euro steigern. Dieses ökonomische Potenzial lässt sich jedoch nur heben, wenn IT-Systeme fehlerfrei skalieren.10 In stochastischen Machine-Learning-Modellen potenzieren sich qualitative Mängel drastisch. Was in der aktuellen AI-Forschung als Daten-Kaskade (Data Cascade) bezeichnet wird, beschreibt das Phänomen, bei dem marginale Fehler im Trainingsdatensatz exponentiell anwachsen und den operativen Output unbrauchbar machen.
Wenn KI-Systeme in kritischen Geschäftsprozessen eingesetzt werden, ist das Vertrauen der Endanwender und Stakeholder die einzige Währung, die eine Skalierung ermöglicht. Eine nachweisbare Konformität mit dem AI Act signalisiert dem Markt eine institutionalisierte Zuverlässigkeit. Compliance wird somit von einer regulatorischen Steuer zur strategischen Investition in den Vertrauensaufschlag („Trust Premium“), der die Marktfähigkeit europäischer AI-Lösungen überhaupt erst garantiert.11
Fazit: Der Paradigmenwechsel zu „Trust by Design“
Die Ära der unregulierten und rein explorativen AI-Entwicklung nähert sich ihrem Ende. Der EU AI Act markiert keinen singulären bürokratischen Akt, sondern den Beginn einer neuen Reifephase in der Softwaretechnik. Für IT-Entscheider, CIOs und Data Scientists bedeutet dies einen zwingenden methodischen Paradigmenwechsel von einer nachträglichen, reaktiven Qualitätssicherung hin zu einem proaktiven Konstruktionsprinzip, genannt “Trust by Design”. Dieses Konzept fordert die strukturelle Integration menschlicher Werte, rechtlicher Normen und technischer Robustheit bereits in der Anforderungsanalyse eines IT-Projekts. Vertrauen lässt sich nicht nachträglich durch ein Software-Update in ein undurchsichtiges neuronales Netz „patchen“.12
Der vermeintliche Bremsklotz EU AI Act zwingt die europäische Wirtschaft zur informationstechnischen Exzellenz. In einer zunehmend automatisierten Welt, in der Algorithmen essenzielle Entscheidungen treffen, reicht bloße Funktionalität nicht mehr aus. Digital Trust ist die Lizenz zur Marktteilnahme, und nachweisbare Qualität ist die harte Währung, mit der sie bezahlt wird. Die IT-Abteilungen der Zukunft sind nicht länger nur die Lieferanten von Rechenleistung und Features, sie wandeln sich gerade zu den institutionellen Garanten von Vertrauen.
Quellen und weiterführende Informationen
1 Siau, Keng; Wang, Weiyu (2018): Building Trust in Artificial Intelligence, Machine Learning, and Robotics. Cutter Business Technology Journal, 31(2), 47-53. In: https://www.cutter.com/article/building-trust-artificial-intelligence-machine-learning-and-robotics-498981
2 Veale, Michael; Borgesius, Frederik J. Zuiderveen (2021): Demystifying the Draft EU Artificial Intelligence Act — Analysing the good, the bad, and the unclear elements of the proposed approach. Computer Law Review International, 22, 97 - 112. DOI: 10.9785/cri-2021-220402
3 Mökander, Jakob; Morley, Jessica; Taddeo, Mariarosaria & Floridi, Luciano (2021): Ethics-Based Auditing of Automated Decision-Making Systems: Nature, Scope, and Limitations. Science and Engineering Ethics, 27(44). DOI: 10.1007/s11948-021-00319-4
4 Gudivada, Venkat N.; Apon, Amy & Ding, Junhua (2017): Data Quality Considerations for Big Data and Machine Learning: Going Beyond Data Cleaning and Transformations. International Journal on Advances in Software, 10(1&2), 1-20. In: https://personales.upv.es/thinkmind/dl/journals/soft/soft_v10_n12_2017/soft_v10_n12_2017_1.pdf
5 Unabhängige Hochrangige Expertengruppe für Künstliche Intelligenz (2019): Ethik-Leitlinien für eine vertrauenswürdige KI. Europäische Kommission. In: https://op.europa.eu/en/publication-detail/-/publication/d3988569-0434-11ea-8c1f-01aa75ed71a1/language-de
6 Europäische Union (2024): Verordnung (EU) 2024/1689 (EU AI Act). Amtsblatt der Europäischen Union. In: https://eur-lex.europa.eu/legal-content/DE/ALL/?uri=CELEX:32024R1689
7 Mehrabi, Ninareh; Morstatter, Fred; Saxena, Nripsuta; Lerman, Kristina & Galstyan, Aram (2021): A Survey on Bias and Fairness in Machine Learning. ACM Computing Surveys, 54(6), Article 115, 1-35. DOI: 10.1145/3457607
8 Shneiderman, Ben (2020): Human-Centered Artificial Intelligence: Reliable, Safe & Trustworthy. International Journal of Human–Computer Interaction, 36(6), 495-504. DOI: 10.1080/10447318.2020.1741118
9 Mittelstadt, Brent Daniel; Allo, Patrick; Taddeo, Mariarosaria; Wachter, Sandra & Floridi, Luciano (2016): The ethics of algorithms: Mapping the debate. Big Data & Society, 3(2), 1-21. DOI: 10.1177/2053951716679679
10 Evas, Tatjana (2020): European framework on ethical aspects of artificial intelligence, robotics and related technologies - European added value assessment. Study published by European Parliamentary Research Service (EPRS). In: https://www.europarl.europa.eu/RegData/etudes/STUD/2020/654179/EPRS_STU(2020)654179_EN.pdf
11 Sambasivan, Nithya; Kapania, Shivani; Highfill, Hannah; Akrong, Diana; Paritosh, Praveen & Aroyo, Lora M (2021): “Everyone wants to do the model work, not the data work”: Data Cascades in High-Stakes AI. Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems (CHI ‚21), 39, 1-15. DOI: 10.1145/3411764.3445518
12 Merchán-Cruz, Emmanuel A.; Gabelaia, Ioseb; Savrasovs, Mihails; Hansen, Mark F.; Soe, Shwe; Rodriguez-Cañizo, Ricardo G. & Aragón-Camarasa, Gerardo (2025): Trust by Design: An Ethical Framework for Collaborative Intelligence Systems in Industry 5.0. Electronics, 14(10), 1952. DOI: 10.3390/electronics14101952
ISO/IEC 25010:2023 (Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — Product quality model) - Leseprobe: siehe https://www.iso.org/obp/ui/en/#iso:std:78176:en
ISO/IEC TR 24028:2020 (Information technology — Artificial intelligence — Overview of trustworthiness in artificial intelligence) - Leseprobe: siehe https://www.iso.org/obp/ui/en/#iso:std:77608:en
