Kann man auf KI-basierte Führungskräfte-Assessments vertrauen?

Seit der Veröffentlichung von ChatGPT durch OpenAI am 2022. November, gefolgt von mehreren anderen massiven Bots mit künstlicher Intelligenz (KI), ist der Fokus erneut darauf gerückt, wie KI jeden Aspekt unseres Lebens durchdringt. In der Führungsbranche ist eine der heißen Fragen, die wir gehört haben, ob wir KI-basierten Führungskräfte-Assessments vertrauen können.

Diese Fragen zum Einsatz von KI bei Assessments sind nicht neu. Während die Veröffentlichung neuer KI-Bots Aufmerksamkeit erregt hat, beschäftigen sich Arbeits- und Organisationspsychologen, Personalleiter und Rechtsabteilungen seit mehr als einem Jahrzehnt mit Fragen zu KI.

Es gibt keinen Konsens über den Einsatz von KI bei der Bewertung von Arbeitsplätzen. Die meisten Entwickler von Assessments verstehen jedoch die Leistungsfähigkeit und die Fähigkeiten, die KI bieten könnte, und verstehen gleichzeitig die Notwendigkeit einer Sorgfaltspflicht, um sicherzustellen, dass die Risiken die Vorteile nicht überwiegen.

KI-basierte Leadership-Assessments könnten bei richtiger Bewertung neuartige Verbesserungen gegenüber herkömmlichen Bewertungen (z. B. Kosteneinsparungen, verbesserte Prognosen) bieten. Aber die Auswirkungen könnten katastrophal sein, wenn man sich nicht mit den Risikofaktoren der KI befasst.

Da sich KI am Arbeitsplatz immer mehr etabliert, ist es entscheidend, die potenziellen Vorteile mit der Notwendigkeit von Transparenz, Rechenschaftspflicht und ethischen Überlegungen in Einklang zu bringen. In diesem Artikel werde ich die wichtigsten Bedenken behandeln, die Personal- und Unternehmensleiter berücksichtigen sollten, wenn sie den Einsatz von KI bei der Bewertung von Führungskräften in Betracht ziehen.

Wann und warum Assessments für Führungskräfte eingesetzt werden sollten

Bevor wir weiter auf KI eingehen, sollten wir uns mit den Zielen und dem Nutzen von Assessments befassen. Bei DDI ist es unsere Mission, außergewöhnliche Führungskräfte einzustellen, zu fördern und zu entwickeln, die andere in eine bessere Zukunft führen, und wir empfehlen und nutzen Assessments, um diese Bemühungen zu unterstützen.

Beurteilungen vor und nach der Einstellung können für Unternehmen wertvolle Instrumente sein, um ihre Auswahl-, Beförderungs- und Trainingsverfahren zu verbessern. Mit Hilfe von Beurteilungen vor der Einstellung können die erlernten Fähigkeiten, inhärenten Fähigkeiten, Kenntnisse, die Persönlichkeit und der Arbeitsstil eines Bewerbers bewertet werden. Sie tragen dazu bei, sicherzustellen, dass ein Kandidat gut zur Position und zur Unternehmenskultur passt, und verwenden gleichzeitig wichtige Jobkriterien, um die Leistung in der Rolle vorherzusagen. Diese Bewertungen können auch dazu beitragen, Problembereiche zu identifizieren, wie z. B. das Fehlen einer effektiven Verhaltensintervention in einer Simulation, um den Entscheidungsprozess bei der Auswahl des idealen Kandidaten zu unterstützen.

Post-Einstellung-Assessments werden verwendet, um die Mitarbeiterleistung zu bewerten und Feedback für Entwicklung und Training zu geben. Diese Bewertungen können verwendet werden, um Bereiche zu identifizieren, in denen ein Mitarbeiter leistungsstark ist (die "Glows") und in denen er möglicherweise zusätzliche Unterstützung benötigt (die "wächst"), wie z. B. Training oder Coaching. Bewertungen nach der Einstellung können auch dazu beitragen, potenzielle Probleme zu erkennen, bevor sie zu größeren Problemen werden, wie z. B. geringe Produktivität oder Unzufriedenheit am Arbeitsplatz.

Die Art und Weise, wie Sie Leadership Assessments – als Auswahl- oder Entwicklungsinstrument – einsetzen, wirkt sich darauf aus, wie gründlich Sie den Einsatz von KI unter die Lupe nehmen müssen. Während Sie bei der Art und Weise, wie Sie Assessments für die Entwicklung einsetzen, umsichtig sein müssen, müssen die Beurteilungen, die zur Entscheidungsfindung bei der Beschäftigung verwendet werden, einer höheren Prüfung standhalten. Sie müssen sich dem Bewerber gegenüber fair fühlen und dem Personalverantwortlichen versichern, dass sie die Leistung genau vorhersagen. Und vor allem müssen sie auch einer möglichen rechtlichen Prüfung standhalten.

Das Potenzial von KI im Führungskräfte-Assessment

Angesichts der Sorgfalt, mit der wir mit KI umgehen müssen, fragen sich manche, ob wir sie überhaupt in Bewertungen einsetzen sollten. Die potenziellen Vorteile sind jedoch erheblich. Der Einsatz von KI in der Beurteilung von Führungskräften hat das Potenzial, die Art und Weise, wie wir effektive Führungskräfte identifizieren und entwickeln, zu revolutionieren und bessere Ergebnisse für Organisationen und die Gesellschaft als Ganzes zu erzielen.

Ohne Übertreibung scheinen die Möglichkeiten für den Einsatz von KI zur Ergänzung Ihrer Assessment-Programme endlos zu sein. Aus praktischer Sicht sind hier einige der potenziellen Vorteile von KI-basierten Leadership Assessments:

• Höhere Kosteneinsparungen bei der Entwicklung, Bewertung und Verwaltung von Bewertungen.
• Gesteigerte Effizienz zur Verbesserung der Candidate Experience (z. B. reduzierter Verwaltungsaufwand für eine Assessment-Lösung) und der Administratorerfahrung (z. B. sofortige Ergebnisse Ihrer Kandidaten).
• Verbesserte Fähigkeit, zahlreiche Datenpunkte zu integrieren, um die Konsistenz, Zuverlässigkeit und Validität der Ergebnisse zu erhöhen und so den maximalen Nutzen einer Assessment-Lösung zu erzielen.
• Fähigkeit, Verzerrungen und subjektive Bewertungen zu reduzieren, um das Risiko nachteiliger Auswirkungen und Messfehler zu verringern.

Die starken Vorteile bieten einen starken Anreiz, KI-Technologie für bessere Ergebnisse einzusetzen. Die Herausforderung besteht natürlich darin, diese Vorteile zu optimieren und gleichzeitig die Risiken zu reduzieren.

Die 5 wichtigsten Bedenken beim Einsatz von KI bei der Einstellung und Bewertung

Der zunehmende Einsatz von KI-basierten Leadership Assessments hat in vielerlei Hinsicht Besorgnis ausgelöst. Viele dieser Bedenken sind im Laufe der Zeit mit jedem neuen technologischen Fortschritt wieder aufgetreten. Die gute Nachricht ist, dass sich die Branche schnell weiterentwickelt hat, um neue Standards zu schaffen, die diese Bedenken bekämpfen. Es ist jedoch wichtig, diese Fragen weiterhin zu stellen und darauf zu achten, wie die Assessment-Anbieter reagieren.

Hier sind einige der häufigsten Bedenken:

1. Datenschutz und Sicherheit

Eines der Hauptanliegen beim Einsatz von KI-Technologie ist der Schutz der privaten Daten von Einzelpersonen. Oft wissen die Menschen nicht, welche Daten über sie gesammelt und wie sie verwendet werden, was ein großes Problem darstellt, wenn diese Daten ihre Beschäftigung beeinträchtigen könnten.

So wurde beispielsweise ein bekanntes Unternehmen für KI-basierte Rekrutierungs- und Auswahltools kürzlich von der Federal Trade Commission (FTC) in den USA wegen angeblicher Verletzung der Datenschutzrechte der Teilnehmer angeklagt. Laut der Klage setzte das Unternehmen KI ein, um die Mimik, den Tonfall und andere nonverbale Hinweise von Bewerbern bei Video-Vorstellungsgesprächen zu analysieren.

Die Kandidaten sagen, dass das Unternehmen keine ordnungsgemäße Zustimmung eingeholt oder sie über den Umfang der Analyse informiert hat. Seit der Einleitung der Klage hat das Unternehmen diese Funktionen aus seinem Produkt entfernt.

Dieses Beispiel zeigt das Potenzial von KI bei der Vorhersage der Leistung am Arbeitsplatz, aber auch die Risiken des Einsatzes neuer Technologien ohne angemessene Berücksichtigung rechtlicher Implikationen.

2. Bias

Systematischer Fehler ist eines der häufigsten und besorgniserregendsten Probleme, mit denen KI-Programme konfrontiert sind. Algorithmen lernen anhand vorhandener Systeme und Daten. Wenn systematische Fehler in bestehende Systeme eingebaut sind, wird der resultierende Algorithmus wahrscheinlich auch Verzerrungen aufweisen. Wie das Sprichwort sagt: "Schlechte Daten rein, schlechte Daten raus."

Es gibt eine Reihe von Möglichkeiten, Algorithmen so zu trainieren, dass sie weniger voreingenommen sind als bestehende Systeme. Zum Beispiel ist es wichtig, einen vielfältigen und repräsentativen Trainingsdatensatz zu haben. Mit anderen Worten, die Daten sollten die Zusammensetzung der realen Bevölkerung, die der Algorithmus messen soll, genau widerspiegeln. Die Trainingsdaten sollten eine Reihe verschiedener Geschlechter, Ethnien, Altersgruppen, Kulturen und sozioökonomischer Hintergründe umfassen.  Darüber hinaus ist die Vorverarbeitung oder Bereinigung der Trainingsdaten ein wesentlicher Schritt, um fehlende Werte, Fehler, signifikante Ausreißer oder irrelevante Daten zu berücksichtigen, die die Ausgabe des Algorithmus verzerren könnten. Mit jedem Fortschritt in der KI gibt es jedoch neue Möglichkeiten, Verzerrungen in das System einzuführen. Aus diesem Grund ist es wichtig, KI-basierte Maßnahmen an jobbasierte Kriterien zu binden und Ihre Algorithmen regelmäßig in High-Stakes-Anwendungen auf Verzerrungen zu testen, zu überwachen und zu bewerten, und zwar mit einer Häufigkeit, die über das typische oder klassische Assessment-Monitoring hinausgeht.

3. Betrug oder Fälschung

Das Schummeln oder Fälschen von Antworten war schon immer ein Problem, noch bevor Bewertungen eine Rolle in Entscheidungsprozessen spielten und sich mit dem Übergang von Vor-Ort-Veranstaltungen mit Stift und Papier zu Computern mehr auf Betrug/Fälschung konzentrierten. Mitte der 2000er Jahre reagierten Praktiker und Forscher mit Forschungsergebnissen, die Standards und Empfehlungen vorantrieben und die Best Practices für die heutigen Online-Assessment-Standards hervorbrachten, die unter dem sperrigen Begriff „unbeaufsichtigte Internettests" (UIT) bekannt sind. Strategien wie Zeitlimits, virtuelle Aufsichtsprogramme usw. trugen dazu bei, die Integrität der Antworten der Kandidaten zu gewährleisten.

Die Angst vor Betrug und Fälschung ist jetzt wieder da, da KI Antworten auf offene Fragen geben kann. Es gibt jedoch bereits Methoden, um dieser Herausforderung zu begegnen. Zum Beispiel können Forced-Choice-Persönlichkeitselemente einen KI-Ansatz zur Fälschung eines Tests bekämpfen. Mit dem Fortschritt der KI entwickeln sich auch die Ansätze der Branche zur Verhinderung von Betrug.

4. Das „Black-Box"-Problem

„Black Box" beschreibt die Fähigkeit von KI zu zeigen, dass zwei Dinge zusammenhängen, ohne erklären zu können, warum. Ich würde behaupten, dass dies eine der neuartigsten und besorgniserregendsten Herausforderungen im Zusammenhang mit KI ist.

Ein berühmtes Beispiel für eine Blackbox ereignete sich, als Forscher versuchten, KI darauf zu trainieren, Hautkrebs zu erkennen. Sie fütterten das System mit vielen Bildern von bösartigen und gutartigen Hautläsionen und stellten fest, dass der Algorithmus in der Lage war, die bösartigen Hautläsionen korrekt zu identifizieren.

Aber woher wusste er das? Bei genauerem Hinsehen stellten die Forscher fest, dass der Algorithmus feststellte, dass jedes Bild einer Läsion, die auch ein Lineal enthielt, auf Bösartigkeit hindeutete. Das liegt daran, dass auf medizinischen Fotos von bösartigen Läsionen immer Lineale enthalten sind, um die Größe der Läsion zu zeigen. Aber für den Algorithmus deutete das bloße Vorhandensein eines Lineals auf dem Bild wahrscheinlich auf Krebs hin.

Diese fehlerhafte Logik ist eine der potenziell schädlichsten Herausforderungen der KI. Bei Führungskräfte-Assessments ist es entscheidend, erklären zu können, wie Modelle die Kompetenzen oder Werte in unserem Assessment vorhersagen und was in unserer technischen Dokumentation beobachtet werden kann. Jeder HR-Praktiker sollte äußerst vorsichtig sein, wenn es darum geht, Bewertungen zu verwenden, bei denen das „Wie" und „Warum" der Ergebnisse nicht erklärt werden kann.

5. Rechtliche Vertretbarkeit

All diese Herausforderungen gipfeln in einem größeren Problem: der rechtlichen Vertretbarkeit. Lokale, staatliche und bundesstaatliche Regierungen verabschieden schnell neue Gesetze, um die Privatsphäre des Einzelnen und die Chancengleichheit bei der Arbeit zu schützen.

Die Zunahme der Klagen bedeutet jedoch nicht, dass Unternehmen keine Assessments zur Bewertung von Kandidaten verwenden sollten. Tatsächlich kann die richtige Verwendung von Daten dazu beitragen, Verzerrungen im Prozess zu reduzieren. Das bedeutet, dass Sie genau verstehen müssen, was Sie bewerten, wie das Assessment funktioniert und wie es mit den Stellen zusammenhängt, für die Sie einstellen. Ich kann es nicht genug betonen: Sie müssen in der Lage sein, die Entwicklung und Bewertung eines KI-gestützten Assessments gründlich zu dokumentieren.

Kriterien für den Einsatz von Leadership Assessments mit KI

Wie bei jeder anderen Innovation, die auf den Markt kommt, sollten wir mit vorsichtigem Optimismus in die Zukunft gehen. Technologie ist nur so mächtig wie die Art und Weise, wie wir sie anwenden. In diesem Abschnitt gehe ich auf einige der wichtigsten Kriterien ein, die Sie in Betracht ziehen sollten, wenn Sie ein KI-basiertes Führungskräfte-Assessment in Betracht ziehen.

Für diejenigen, die einen technischeren Einblick in die Verwendung von KI-basierten Assessments wünschen, empfehle ich dringend, die neuesten Richtlinien der Society for Industrial-Organizational Psychology (SIOP) zu lesen. Bei DDI folgen wir diesen Richtlinien, um KI-basierte Führungsbeurteilungen zu entwickeln und einzusetzen.

Wenn Sie sich nicht durch die technischen Empfehlungen wühlen möchten, finden Sie hier einige allgemeine Fragen, die wir empfehlen, wenn Sie Bewertungen in Betracht ziehen, die KI-Komponente enthalten können:

1. Welche Arten von objektiven Daten sammeln Sie? Sie können viele Arten von Daten sammeln, von denen einige zuverlässiger sind als andere, um die Arbeitsleistung vorherzusagen. Im Folgenden finden Sie einen kurzen Überblick über die Datentypen, die als „Zeichen im Vergleich zu Stichproben" bezeichnet werden.
2. Wie messen Sie Validität und Reliabilität? Eine Bewertung muss sowohl valide (d. h. sie misst genau, was sie messen soll) als auch zuverlässig sein (d. h. sie liefert ähnliche Werte für Personen mit dem gleichen Niveau eines Merkmals). Jeder Assessment-Anbieter sollte in der Lage sein, diese Fragen zu beantworten und Unterlagen zur Verfügung zu stellen.
3. Setzen Sie menschliche Assessoren ein, und wenn ja, wie schulen Sie sie? Einige Assessment-Anbieter setzen auch menschliche Assessoren – wie DDI – in Verbindung mit KI ein. Diese Kombination aus menschlichen und technologiebasierten Assessments ist ein wirksames Mittel, um Vorurteile abzubauen und eine nuanciertere und ganzheitlichere Sicht auf die Fähigkeiten einer Person zu liefern. Sie müssen jedoch sicherstellen, dass die Prüfer ein entsprechendes Training absolvieren.
4. Wie wenden Sie die Qualitätskontrolle an? Bewertungen müssen auf konsistente Weise angeboten werden, mit minimalen Unterschieden zwischen verschiedenen Bereitstellungsmethoden wie Browsern, Hardware usw. Es ist auch von entscheidender Bedeutung, dass sie die Standards für Barrierefreiheit erfüllen.
5. Wie minimieren Sie Verzerrungen durch maschinelles Lernen? Der Assessment-Entwickler sollte in der Lage sein, zu erklären, welche Schritte er unternimmt, um Verzerrungen in seinem Algorithmus zu bekämpfen.
6. Wie werden Bewertungen überwacht und gepflegt? Im Laufe der Zeit müssen Assessment-Entwickler ihre Daten regelmäßig auf anhaltende Anzeichen von Verzerrungen bei Gruppen, einschließlich Menschen mit Behinderungen, überwachen. Darüber hinaus müssen Sie sicherstellen, dass Sie globale und regionale Normen bei Bedarf aktualisieren, um faire Vergleiche anstellen zu können.

Diese Liste ist zwar nicht vollständig, aber sie ist ein guter Anfang, um darüber nachzudenken, welche Fragen Sie Ihrem Assessment-Entwickler stellen sollten.

Daten sind nur so gut wie die Art und Weise, wie Sie sie nutzen

Daten tun nichts, wenn sie im Regal stehen. Es kommt darauf an, wie Sie verwendet werden.

Wenn Sie Daten verwenden, um Führungsentscheidungen zu treffen, gebe ich Ihnen ein paar Leitprinzipien mit auf den Weg:

1. Es dreht sich alles um Jobrelevanz. Das muss vor allem Ihr Leitgedanke sein. Alle Daten, die Sie in Betracht ziehen, müssen direkt für die Aufgabe relevant sein, die die Person ausführen soll - oder Sie sollten sie nicht verwenden. Wichtig ist, dass Sie, insbesondere wenn es um KI geht, in der Lage sein müssen, zu erklären, warum und wie die Daten mit der Leistung zusammenhängen. Sie können die „Black Box" nicht akzeptieren.
2. Assessments sollten eine Informationsquelle unter vielen sein. Assessment-Daten sollten die Entscheidungen unterstützen, nicht Ergebnisse diktieren. Die Ergebnisse eines Assessments müssen überprüft, diskutiert und mit anderen Informationen wie Arbeitsleistung, Verhalten am Arbeitsplatz, persönlichen Attributen usw. integriert werden. Es sollte nicht die einzige Information sein, die zur Entscheidungsfindung herangezogen wird.
3. Daten sind Teil eines strukturierten Dialogs. Einer der größten Fehler, den Unternehmen machen, besteht darin, inkonsistent über Daten zu sprechen und diese zu verwenden, was zu Verzerrungen führen kann. Stellen Sie sicher, dass Sie einen strukturierten Prozess für Talentgespräche haben, der Daten konsistent einbezieht.
4. Denken Sie daran, dass das Verhalten regiert. Assessments können viele Aspekte einer Person messen. Einige dieser Dinge, wie z. B. Persönlichkeitsmerkmale, können Ihnen Aufschluss darüber geben, was eine Person wahrscheinlich tun wird oder was sie motiviert. Aber letztendlich werden das Verhalten und die Entscheidungen der Führungskräfte ihre Leistung bei der Arbeit bestimmen. Achten Sie also darauf, ganzheitlich darüber nachzudenken, wie Sie Persönlichkeitsbewertungen im Vergleich zum Verhalten bewerten.

Erfahren Sie mehr über Führungskräfte-Assessments mit dem Ultimate Guide to Leadership Assessment von DDI.

Chris Coughlin ist Manager of Assessment Content Development and Design bei DDI, wo er ein Team von Wissenschaftlern leitet, das innovative Assessments für die Auswahl von Führungskräften, das Lernen und die Entwicklung von Führungskräften sowie Lösungen für Führungskräfte entwickelt, testet, validiert, qualifiziert, einsetzt und pflegt. Er liebt es, seine Töchter im Fußball und in Mathematik zu trainieren, als Versuchskaninchen in der Batterbox für den Fastball seines Sohnes zu arbeiten und mit seiner Familie Mannschaftsquizspiele in lokalen Restaurants zu besuchen. Und schließlich spielt Chris an entspannten Wochenenden gerne Catan mit Familie und Freunden (und behauptet standhaft, dass Catan das beste Brettspiel aller Zeiten ist)