Mit Blick auf eine erfolgreiche Post-Projektphase, d. h. den Realbetrieb, werden bereits während der Projektlaufzeit von KI-Exam Maßnahmen der Transparenzförderung und der Vertrauensbildung ergriffen. Hierfür schließt der Ansatz des KI-Exam-Projekts die Technologie mitsamt ihren Umweltfaktoren ein. So wird die KI-Exam-Software als technisches Artefakt innerhalb eines soziotechnischen Systems (Hirsch-Kreinsen, 2018) verstanden. Ein solches besteht aus interdependenten technologischen, organisatorischen und personellen Komponenten, d. h. aus sozialen Elementen sowie „aus einer Vielzahl technischer und nicht-technischer Komponenten, also aus Artefakten, Geräten, Verfahren, Techniken, Maschinen, Codes etc., aber ebenso aus Praktiken, Organisationen, Normen, Standards, Institutionen etc.“ (Weyer & Capera, 2021, S. 376). Dies umfasst auch politische, gesellschaftliche und wirtschaftliche Rahmenbedingungen und Akteure sowie die Kontexte des konkreten Einsatzfeldes. Wirksamkeit und Produktivität soziotechnischer Systeme beruhen darauf, dass alle Komponenten aufeinander abgestimmt entwickelt werden (Hirsch-Kreinsen, 2018; Koeszegi, 2021). Das KI-Exam-System fungiert hierbei als Schnittstelle der Interaktion und konstituiert die Beziehungen der Komponenten zueinander (Weyer & Capera, 2021). Entsprechend sieht der Zuschnitt des Projekts aus. 

Mit der Dr.-Ing. Paul Christiani GmbH & Co. KG als Konsortialpartner ist der Anbieter des KI-Exam-Systems projektimmanenter Bestandteil. Durch die Anbindung an ein bereits etabliertes System wird so eine Kontinuität in der Anwendung gewährleistet.

Prüfende der Aus- und Fortbildung nehmen als spätere Anwender:innen eine Schlüsselrolle im Projekt ein und sind an verschiedenen Stellen in die Entwicklung eingebunden. Um Praktiken und Verfahren von Prüfenden bei der Korrektur schriftlicher Prüfungen in der Software abzubilden, wurden diese im Februar 2024 im Rahmen von 20 Experteninterviews (Meuser & Nagel, 1997; Liebold & Trinczek, 2009) mit Prüfenden technischer Aus- und Fortbildungsberufe ermittelt und anschließend im Rahmen von zwei Online-Workshops diskutiert und geschärft. Die so identifizierten Probleme und Bedürfnisse wurden vom Projektkonsortium in Anforderungen für das KI-gestützte Softwaresystem überführt. Darüber hinaus werden Prüfende im Rahmen von Testverfahren kontinuierlich an der Entwicklung beteiligt.

Die Abnahme aller Zwischen- und Abschlussprüfungen der dualen Aus- und der geregelten Fortbildung erfolgt durch paritätisch besetzte Prüfungsausschüsse oder Prüferdelegationen. Diese werden gemäß Berufsbildungsgesetz (§ 39 Abs. 1 BBiG) von den Kammern als zuständige Stellen errichtet. Entsprechend treten sie – im Falle von KI-Exam sind es Industrie- und Handelskammern – als Betreiber im soziotechnischen System auf. In das Projekt sind sie durch Fachveranstaltungen sowie über ihren Dachverband involviert. Die gemeinnützige DIHK-Gesellschaft für berufliche Bildung und die Prüfungsaufgaben- und Lehrmittelentwicklungsstelle (PAL) sind assoziierte Konsortialpartner.

Durch das mmb Institut erfolgen der Aufbau und die Pflege der KI-Exam-Community, bestehend aus Praktiker:innen und Stakeholdern im Kontext von Ausbildungs- und Fortbildungsprüfungen. Über E-Mail-Newsletter werden Informationen zu aktuellen Entwicklungen im Projekt geteilt sowie Prüfende aus der Community für eine Teilnahme an Workshops sowie an Usability-Tests und Evaluationen angesprochen.

Damit ein solches System funktioniert, muss man Vertrauen zwischen den einzelnen Stakeholdern und Elementen aufbauen. Beim Vertrauen in ein technisches System handelt es sich um eine menschliche Zuschreibung, KI-Systeme können Vertrauenswürdigkeit jedoch auch als Eigenschaft tragen. Die Entwicklung und Nutzung vertrauenswürdiger KI-Systeme ist ein erklärtes Ziel der europäischen KI-Strategie. Richtungsweisend für die Klassifikation vertrauenswürdiger KI-Systeme ist die EU-Verordnung über Künstliche Intelligenz (KI-VO), die seit 2024 stufenweise in Kraft tritt. Die KI-VO regelt u. a., dass alle mit einem KI-System betrauten Personen über systemspezifische Kompetenzen verfügen (Art. 4 KI-VO) (vgl. Junggeburth, 2025; Straub, 2025).

Diese Anforderung wird u. a. dadurch erfüllt, indem Informations- und Schulungsmaterial für die Anwendung und den Betrieb von KI-Exam entwickelt wird. Ein Kern der KI-VO ist die Definition von vier Risikoklassen (Systeme mit geringem oder keinem Risiko, mit spezifischem Risiko, mit hohem Risiko sowie verbotene Praktiken), wobei sich mit steigender Klassifikation auch die Anforderungen an Anbieter und Betreiber erhöhen. Diese Klassifikation ist jedoch gegenwärtig nur begrenzt anwendbar (Stand: April 2026). Definitionen für eine klare Abgrenzung von Hochrisikobereichen fehlen bislang. Konkrete Anwendungsbeispiele für die Risikobewertung von KI-Systemen werden erst mit den Leitlinien nach Art. 6 Abs. 5 KI-VO erwartet, die die Europäische Kommission für 2026 angekündigt hat (Straub, 2025, S. 4 f.). Das KI-Exam-Projektkonsortium behält die weitere Umsetzung der europäischen KI-Strategie im Blick, um in der Entwicklung auf mögliche Auswirkungen reagieren zu können.

Bis dahin ist es essenziell, Prüfenden eventuelle Ängste vor einer assistiven KI-Anwendung zur Prüfungskorrektur zu nehmen und das Vertrauen in die Korrektheit der Vorschläge von KI-Exam herzustellen. Als ganz wichtiges Mittel hierfür haben sich persönliche Gespräche erwiesen, z. B. in Schulungen und in der Evaluation des KI-Exam-Systems. Diesen Weg werden die Akteur:innen im Projekt auch weiterhin beschreiten.

Verwendete Literatur:

Hirsch-Kreinsen, H. (2018). Das Konzept des Soziotechnischen Systems – revisited. Arbeits- und Industriesoziologische Studien, 11(2), 11–28. https://www.arbsoz.de/ais-studien-2018?file=files/downloads/ais-studien/AIS-18-2-00_Gesamtdokument.pdf

Junggeburth, C. (2025). Rechtliche Fragen zum Einsatz Künstlicher Intelligenz in der beruflichen Bildung. In: Berufsbildung in Wissenschaft und Praxis (BWP) 54 (2025) 4, S. 47–48. https://www.bwp-zeitschrift.de/dienst/publikationen/download/20738

Koeszegi, S. T. (2021). Spannungsfeld automatisierte Entscheidungssysteme und Autonomie. In R. Altenburger & R. Schmidpeter (Hrsg.), CSR und Künstliche Intelligenz (S. 61–76). Springer. https://doi.org/10.1007/978-3-662-63223-9_3

Liebold, R., Trinczek, R. (2009). Experteninterview, in: Kühl, S., Strodtholz, P., Taffertshofer, A. (Hrsg.) Handbuch Methoden der Organisationsforschung. VS Verlag für Sozialwissenschaften, S. 32-56

Meuser, M. & Nagel, U. (1997). Das Experteninterview – Wissenssoziologische Voraussetzungen und methodische Durchführung, in: Friebertshäuser, B., Prengel, A. (Hrsg.). Handbuch Qualitative Forschungsmethoden in der Erziehungswissenschaft, Weinheim-Basel, S.481–491

Straub, S. (2025). Künstliche Intelligenz in der beruflichen Bildung. Rechtliche Anforderungen nach der KI-Verordnung. VDI/VDE Innovation + Technik GmbH. https://doi.org/10.25656/01:33695

Weyer, J. & Cepera, K. (2021). Vertrauen in digitale Technik. Der Einfluss mobiler Apps auf die Bereitschaft zur Verhaltensänderung. Zeitschrift für Soziologie, 50(6), 373–395. https://doi.org/10.1515/zfsoz-2021-0028