Wie man einen Persönlichkeitstest am Arbeitsplatz einsetzt

Eine 2021-teilige Dokumentation von HBO Max und CNN Films zeichnet ein düsteres Bild von Persönlichkeitstests. Aber es ist kein genaues Bild. Die Filmemacher deckten die sensationelle Seite von Persönlichkeitstests ab. Aber sie verfolgten keinen forschungsbasierten Ansatz. Sie behandelten auch nicht, wie man Persönlichkeitstests am Arbeitsplatz verantwortungsvoll einsetzt.

Der Dokumentarfilm liefert weder eine schlüssige Argumentation noch eine Schlussfolgerung über die Persönlichkeit. Vielmehr geht es im Kern um Fairness. Der wichtigste Punkt ist, dass Persönlichkeitstests völlig unfair sind und die Ursache für systemische Verzerrungen in der Beschäftigungspraxis sind.

Wir stimmen der Antwort auf den Dokumentarfilm zu, der von der Gesellschaft für Arbeits- und Organisationspsychologie (SIOP) herausgegeben wurde. (SIOP ist die professionelle Heimat für Organisationspsychologen, die für die Praxis in diesem Bereich ausgebildet sind, und wir sind Mitglieder.)

Fairerweise muss man sagen, dass der Dokumentarfilm nur eines von vielen Beispielen dafür ist, wie Persönlichkeitstests oft ungenau dargestellt werden. Vielleicht gäbe es nicht so viel Aufmerksamkeit, wenn sie bei Arbeitgebern nicht so beliebt wären. Diese Popularität weist auf den Wert hin, den sie trotz der Herausforderungen, die von der Presse wahrgenommen werden, bieten können. Wie können Arbeitgeber also den Wert dieser Tools nutzen, ohne Bedenken zu wecken?

Wir glauben, dass es für Personalverantwortliche wichtig ist, zu verstehen, wie man Persönlichkeitstests am Arbeitsplatz einsetzt. Tatsächlich hat sich gezeigt, dass Persönlichkeitstests, wenn sie richtig eingesetzt werden, die Vielfalt unserer Einstellungsentscheidungen verbessern und mit der Job-, Aufgaben- und Schulungsleistung korrelieren . Daher verwenden Unternehmen diese Tests häufig in Programmen, die sich auf das Wachstum und die Entwicklung von Mitarbeitern konzentrieren.

Es richtig machen

Der Film macht einiges richtig. Es gibt viele Beispiele für schlechte HR-Praktiken, die unbeabsichtigte Folgen haben. Jeden Tag sehen wir helle, glänzende neue Tools, die behaupten, vorherzusagen, welche Bewerber im Job am besten abschneiden werden. Einige verwenden eine Persönlichkeitsbewertung, andere nutzen Online-Spiele oder durchsuchen sogar Social-Media-Profile nach Hinweisen auf die zukünftige Leistung. Nur einige von ihnen wurden entworfen und getestet, um sicherzustellen, dass sie effektiv und frei von der Art von Voreingenommenheit sind, die in der Dokumentation dargestellt wird.

Deshalb ist es so wichtig zu lernen, wie man Persönlichkeitstests am Arbeitsplatz richtig einsetzt. Dies ist besonders wichtig, wenn Sie es für Führungsrollen verwenden, bei denen die Persönlichkeit eine große Rolle spielt.

In den Augen der Regierungsbehörden, die diese Prozesse prüfen, ist selbst die Aufnahme in einen Pool für beschleunigte Entwicklung eine Einstellungsentscheidung. Arbeitgeber müssen ein gutes Verständnis für die Anforderungen an die Instrumente haben, die sie zur Beurteilung ihrer Mitarbeiter verwenden.

Aus diesem Grund werden wir ein paar Regeln für die Durchführung von Persönlichkeitstests am Arbeitsplatz mit Ihnen teilen. Wir haben diese Regeln auf der Grundlage empirischer Forschung, jahrzehntelanger Anwendung und der Lehren aus der kontinuierlichen Überprüfung durch Unternehmen entwickelt, die sich der Fairness und Gültigkeit verschrieben haben. Sie werden Ihnen helfen, die richtigen Entscheidungen über Menschen zu treffen, wenn es darum geht, ihre Karriere einzustellen, zu befördern und auszubauen.

Wir konzentrieren uns hier auf die Persönlichkeit, aber viele der gleichen Regeln gelten auch für die Messung anderer Merkmale.

MBTI und andere Persönlichkeitstests

Bevor wir uns mit den Regeln befassen, wollten wir kurz auf die Arten von Persönlichkeitstests eingehen. Für viele Menschen ist der beliebte Myers Briggs Type Indicator® (MBTI) das erste Persönlichkeitsinventar, das einem in den Sinn kommt.

Es gibt Tausende von Persönlichkeitstests auf dem Markt, jeder mit unterschiedlichen Zwecken, Messfaktoren, Validität und mehr.

Der MBTI wurde nicht entwickelt , um als Persönlichkeitstest vor der Einstellung oder zur Einstellungsentscheidung verwendet zu werden, und das Unternehmen sagt dies deutlich. Andere Persönlichkeitstests am Arbeitsplatz sind jedoch speziell für diesen Einsatz konzipiert und getestet. Diese Tests basieren auf gut gestützter Forschung, die sich nachweislich auf bestimmte Aspekte der Arbeitsleistung bezieht.

Eine der häufigsten Persönlichkeitstheorien hinter diesen Tests ist das "Big 5"-Faktormodell der Persönlichkeit. Die fünf Faktoren (Neurotizismus, Extraversion, Offenheit für Erfahrungen, Verträglichkeit und Gewissenhaftigkeit) werden verwendet, um viele spezifischere Persönlichkeitsmerkmale zu organisieren, die als Facetten bezeichnet werden. 

Gewissenhaftigkeit enthält zum Beispiel Facetten wie Pflichtbewusstsein, Ordnung, Selbstdisziplin und Leistungsstreben. Diese Facetten haben eine stärkere Forschungsbasis als die MBTI-Faktoren.

Verschiedene Persönlichkeitstests sind ähnlich forschungsgetrieben. Einige haben sechs Faktoren (z.B. das "HEXACO"-Modell), andere sieben (das Modell, das den Hogan-Persönlichkeitsinventaren zugrunde liegt) und so weiter.

Kein Modell ist richtig und die anderen falsch. Es sind einfach unterschiedliche Möglichkeiten, den gleichen Kuchen zu schneiden. Wichtig ist vielmehr, dass sie getestet und durch die Forschung gestützt wurden. Sie haben eine Geschichte erfolgreicher Messungen gezeigt und mehreren Überprüfungen auf Fairness standgehalten.

Diese Regeln spiegeln Forschungsergebnisse über den Einsatz von Persönlichkeitstests am Arbeitsplatz wider, aber auch unsere jahrelange Erfahrung in der Implementierung von Persönlichkeitstests, um eine positive Wirkung zu erzielen. Wie Sie sehen werden, tendieren wir dazu, mehrere Maßnahmen in Kombination einzubeziehen, um einen Überblick über die gesamte Person zu erhalten. Wir legen auch mehr Gewicht auf das beobachtete Verhalten und nutzen die Persönlichkeit als eine Möglichkeit, die Nuancen und Gründe für die Leistung am Arbeitsplatz zu verstehen.

Verwenden Sie bewährte Prädiktoren, die effektiv gemessen und empirisch erforscht werden, um Fairness zu gewährleisten

Es ist einfach, professionelle Standards und rechtliche Richtlinien zu finden, die die angemessene Verwendung von Bewertungsinformationen leiten. Als Referenz dienen Beispiele wie die SIOP-Grundsätze für die Validierung und Anwendung von Personalauswahlverfahren und gesetzliche Richtlinien (z. B. die Einheitlichen Richtlinien für Mitarbeiterauswahlverfahren).  Da es sich jedoch um technische Dokumente handelt, deren Interpretation ein gewisses Fachwissen erfordert, werden wir einige der wichtigsten Aspekte aufschlüsseln.

Nach diesen Maßstäben sollte ein gutes Persönlichkeitsinstrument sowohl zuverlässig als auch valide sein.  Zuverlässig bedeutet, dass Sie, wenn Sie es viele Male bei derselben Person anwenden, ähnliche Ergebnisse erwarten würden. Validität bedeutet, dass sie tatsächlich die anvisierten Persönlichkeitsmerkmale misst.

Der Anbieter eines Persönlichkeitstools sollte in der Lage sein, diese Fragen zu beantworten und entsprechende Forschungsunterlagen für sein Tool bereitzustellen. Auch wenn sich das Tool als verlässlich und valide erwiesen hat, ist auch die Frage der Fairness über demografische Gruppen hinweg entscheidend. Fragen Sie den Anbieter, wie sein Tool diese Standards erfüllt und welche Beweise für Fairness er gesammelt hat.

Darüber hinaus sollten die Anbieter in der Lage sein, die Theorie hinter den von ihnen bewerteten Variablen zu beschreiben, und es sollte eine wissenschaftliche Forschungsgrundlage geben, die zeigt, dass die Theorie oder das Modell getestet wurde.

Zeigen Sie einen Zusammenhang zwischen Testergebnissen und wichtigen Aspekten der Arbeit auf

Eines der wichtigsten Kriterien für jede Bewertung ist es, zu zeigen, dass sie sich auf etwas Wichtiges an der Stelle bezieht. Hilft das Tool dabei, vorherzusagen, wie sich die Person verhalten wird? Wie lange bleiben sie im Job? Wie gut werden sie sich mit ihren Teamkollegen verstehen?

Bitten Sie den Anbieter zumindest um Nachweise, dass die Vorhersage für ähnliche Aufträge verwendet wurde, bevor Sie das Tool verwenden. Im Idealfall recherchiert der Anbieter, um den Zusammenhang zwischen seiner Einschätzung und wichtigen Merkmalen der Jobs in Ihrem Unternehmen aufzuzeigen. In der Regel erhalten Sie diese Ergebnisse als Korrelationskoeffizient oder Content Map.

Der Testanbieter sollte Ihnen die Ergebnisse der Validierungsstudie in einem Format zur Verfügung stellen, mit dem Sie den Aufsichtsbehörden nachweisen können, dass das Tool in Ihrem Unternehmen funktioniert.

Verwenden Sie Tools, die für den Einsatz am Arbeitsplatz entwickelt und erforscht wurden

Das mag offensichtlich erscheinen, ist es aber nicht. In den letzten Jahren gab es eine Explosion von technologiebasierten Persönlichkeitstests. Aber nicht alle von ihnen sind so konzipiert, dass sie für den Einsatz am Arbeitsplatz relevant sind.

Dieser Punkt wird in der Dokumentation angesprochen, wenn beschrieben wird, wie der MBTI entwickelt wurde, um als Werkzeug zur Selbsterkenntnis verwendet zu werden. Dennoch bestehen einige Arbeitgeber trotz der Proteste des Verlags darauf, das Tool für die Auswahl zwischen Bewerbern zu verwenden.

Es ist nicht so, dass das Tool schlechte Informationen liefert. Vielmehr wurde es nie für diesen Zweck konzipiert und validiert.

Die Risiken steigen sogar noch höher, wenn ein Tool ursprünglich zur Erkennung von Gesundheits- und Gesundheitszuständen entwickelt wurde, aber für Anwendungen am Arbeitsplatz verdreht wird. Diese Praxis kann zu illegaler Diskriminierung führen und wurde in den Vereinigten Staaten nach dem Americans with Disabilities Act verboten.

Die EEOC hat zu diesem Thema umfangreiche Leitlinien veröffentlicht . Seriöse Unternehmen für die Bewertung von Arbeitsplätzen haben schon vor langer Zeit alle Fragen entfernt, die geistige Behinderungen widerspiegeln.

Achten Sie auf unbeabsichtigte Folgen

Selbst die besten Bewertungen können unbeabsichtigte Folgen haben. Zum Beispiel kann ein Test der kognitiven Fähigkeiten oder ein Eignungstest Unterschiede zwischen demografischen Gruppen aufzeigen, die nicht den gleichen Zugang zu Bildungschancen haben. Ebenso können Persönlichkeitstests Unterschiede zwischen Menschen zeigen, die in verschiedenen Kulturen aufgewachsen sind.

Diese Unterschiede sind real und ein häufiger Nebeneffekt einer genauen Messung. Aber sie können große Probleme verursachen, wenn die Bewertung nicht fair gegenüber Menschen mit unterschiedlichem Hintergrund ist, die im Job hätten erfolgreich sein können.

Gut konzipierte Bewertungsprozesse sollten diese Unterschiede berücksichtigen, indem sie viele Variablen einbeziehen, die Ihnen ein Gefühl für die gesamte Person vermitteln, und nicht nur ein paar Persönlichkeitsmerkmale, die überbetont werden. Gute Berater werden mit Ihnen zusammenarbeiten, um Ihre Bewertungen zu überwachen, um Fairness zu gewährleisten. Darüber hinaus können sie Ratschläge geben, wie Sie jede Variable am besten gewichten können, damit sie Ihrem Zweck entsprechen. Auf diese Weise erhalten Sie am Ende keinen Test, der Ihren Mitarbeitern und Jobaussichten gegenüber unfair ist.

Ein weiteres Risiko besteht darin, den Test nach einer kleinen, ähnlichen Gruppe von Personen zu modellieren. Viele Unternehmen tun dies, weil sie versuchen, das Profil einiger weniger Leistungsträger in wichtigen Jobs zu replizieren. Aber dieser Prozess ist stark fehlerhaft.

Das gleiche Persönlichkeitsprofil in einer Organisation kann das "Gruppendenken" verstärken. Wenn alle von einem ähnlichen Standpunkt aus an ein Problem herangehen, neigen sie dazu, neue Denkweisen abzulehnen. Diese Gruppen ersticken nicht nur Innovationen, sondern übersehen auch oft kritische Risiken, die zu schlimmen Folgen führen können.

Verstehen Sie, dass viele Alternativen weniger effektiv sind als eine gute Bewertung

Unserer Erfahrung nach übersehen wohlmeinende HR- und Talent-Profis diesen Punkt mehr als jeden anderen. Wenn Sie ein Tool oder einen Prozess in Betracht ziehen, der Informationen über Personen liefert (hier gelten sogar Interviewtechniken), müssen Sie deren Qualität berücksichtigen. Aber man muss sie auch mit dem vergleichen, was als Alternative verwendet wird.

Die Realität ist, dass wir Entscheidungen über Menschen treffen müssen. Und wir müssen diese Entscheidungen auf eine gewisse Logik stützen.

Wenn Sie keinen Prozess verwenden, der gute Informationen liefert, was werden Sie dann verwenden? Ein Personalverantwortlicher wird einen Weg finden, die Lücke zu füllen. Sie werden sich ihre eigenen Interviewfragen ausdenken. Sie werden ihre eigene Voreingenommenheit anwenden (ob sie es erkennen oder nicht). Sie werden von Faktoren beeinflusst, die nichts mit dem Job zu tun haben. Und sie werden begeistert sein, wenn sie Menschen finden, die ihnen ähnlich sind.

Schlimmer noch, sie werden davon überzeugt sein, dass sie diese Entscheidungen gut treffen können . Jahrelange anerkannte Wissenschaft in diesem Bereich hat gezeigt, dass unstrukturierte Interviews statistisch gesehen schrecklich sind , um Menschen zu identifizieren, die im Job erfolgreich sein werden.

Gut konzipierte Assessment- und Interview-Tools sind vielleicht nicht fehlerfrei, aber sie sind sehr nützlich. Wenn du diese Dinge aus Angst vor den Herausforderungen nicht verwendest, was wirst du stattdessen verwenden? Die Antwort ist fast immer die gleiche: "Wir vertrauen darauf, dass unsere Führungskräfte die richtigen Entscheidungen über ihre Mitarbeiter treffen." Die Wissenschaft ist nicht auf Ihrer Seite, wenn dies der Weg ist, den Sie einschlagen. Zu viele Unternehmen machen sich mit dieser Perspektive etwas vor.

Wissen, was die Bewertungsergebnisse bedeuten

Bewertung ist keine Zauberei. Psychologen entwerfen gute Beurteilungen mit einer zugrunde liegenden Logik, die sie anderen erklären können müssen.

Dies ist wichtig, da effektive Nutzer von Bewertungsdaten ein grundlegendes Verständnis dafür haben sollten, was die Ergebnisse wirklich bedeuten. Noch wichtiger ist, dass sie verstehen, was sie nicht meinen, damit sie keine Urteile fällen, die den Wert der Bewertungsergebnisse zu weit ausdehnen.

Bei Persönlichkeitstests ist es besonders wichtig, das Testergebnis im Blick zu behalten. In unserer Praxis verwenden wir häufig Persönlichkeitstests, um zu verstehen, warum sich die Teilnehmer so verhalten, wie sie es tun.

Zum Beispiel könnte ein extrovertierter Mensch bei Assessments, die viel Partnerschafts- und Outreach-Verhalten erfordern, sehr gut abschneiden, weil diese Verhaltensweisen mit ihren natürlichen Tendenzen übereinstimmen. In der Zwischenzeit könnte eine introvertierte Führungskraft einen anderen Ansatz für Partnerschaften wählen, der für ihren Stil angenehmer ist, aber dennoch in der Rolle erfolgreich sein kann.

Diese Informationen sind nützlich, wenn Sie eine Führungskraft coachen und entwickeln, um größere Herausforderungen anzunehmen. Der Coach kann Hypothesen aufstellen, die für die Führungskraft auf der Grundlage ihres Profils eine Herausforderung darstellen könnten. Sie können auch Empfehlungen geben, die ihren Stärken entsprechen. Der Coach hat eine Perspektive auf die Assessment-Informationen und kann sie im Kontext halten. In diesem Fall wird der Persönlichkeitstest wie eine Taschenlampe eingesetzt, die Licht ins Dunkel bringt, wo vorher Dunkelheit war.

Das Risiko steigt, wenn naive Nutzer Scores für die Erstellung von Persönlichkeitsprofilen verwenden. Sie denken oft, dass der Persönlichkeitstyp der Führungskraft wie eine Kiste ist, in der die Führungskraft gefangen ist und die freie Wahl verhindert. Infolgedessen gehen sie davon aus, dass die Führungskraft aufgrund des Persönlichkeitsmerkmals nicht erfolgreich sein kann.

Es liegt in der Verantwortung des Benutzers, ein grundlegendes Verständnis für die Grenzen der von ihm verwendeten Bewertungsdaten zu entwickeln.

Erkennen Sie, dass es mehrere Möglichkeiten für Menschen gibt, erfolgreich zu sein

Jede Bewertung ist nur eine Perspektive eines Individuums. Aber Menschen sind kompliziert. Selbst wenn sie aus einer bestimmten Perspektive mit einer Einschränkung konfrontiert sind, können sie Sie überraschen und durch eine Kombination anderer Eigenschaften und Fähigkeiten erfolgreich sein.

Aus diesem Grund ist es wichtig, eine Reihe von Metriken zu verwenden, wenn wichtige Entscheidungen über Personen getroffen werden. In der HBO-Dokumentation übersahen sie dieses Konzept und stellten nur Situationen dar, in denen Persönlichkeitstests als einziger Einstellungstest durchgeführt wurden, um Arbeitssuchende auszusortieren.

Assessment-Experten raten routinemäßig davon ab, sich zu sehr auf eine einzelne Bewertung zu verlassen, insbesondere auf Persönlichkeitstests. Es gibt so viele Möglichkeiten, wie Menschen erfolgreich sein können.

In der Assessment-Forschung zeigt sich diese Idee in einer geringen Korrelation zwischen Persönlichkeit und Arbeitsleistung. Untersuchungen zum Big-Five-Persönlichkeitsmodell zeigen beispielsweise, dass Extraversion für Vertriebsjobs wichtig ist. Er bezieht sich auf die Arbeitsleistung in Vertriebsjobs mit einer durchschnittlichen Korrelation von 0,18. 

Das bedeutet, dass etwa drei Prozent der Variabilität in der Vertriebsleistung dadurch erklärt werden können, dass man weiß, ob jemand extravertiert ist. Das ist eine nützliche Tatsache, die Sie wissen sollten, wenn Sie Vertriebsmitarbeiter einstellen, aber sicherlich nicht der einzige Grund für die Einstellung einer bestimmten Person sein sollte. Wenn jedoch zwei Bewerber in anderer Hinsicht gleich stark sind, kann es völlig in Ordnung sein, sich auf den extravertierten Bewerber zu konzentrieren.

Hinzu kommt eine weitere Komplexität: Die Persönlichkeitsmerkmale einer Person können im Laufe der Zeit variieren, je nachdem, ob sie helfen oder schaden, insbesondere für Führungskräfte. Berücksichtigen Sie das Persönlichkeitsmerkmal von Ehrgeiz, das für aufstrebende Führungskräfte wünschenswert ist, um sie für die Herausforderungen der Rolle zu motivieren. Aber wenn Führungskräfte mit hohem Ehrgeiz Führungspositionen erreichen, können sie die gleiche Eigenschaft zum Ausdruck bringen, indem sie unterschiedliche Standpunkte selbstbewusst unterdrücken, um ihre Dominanz zu wahren.

Dieselbe Eigenschaft, die zu Beginn einer Führungskarriere hilfreich war, wird in späteren Rollen zu einer Einschränkung. Anspruchsvolle Assessment-Nutzer verstehen, dass es so etwas wie "das erfolgreiche Persönlichkeitsprofil" nicht gibt. Vielmehr kann jedes Profil stark oder schwach sein, je nachdem, welche Eigenschaften in verschiedenen Arbeitsumständen zum Ausdruck kommen.

Das Verhalten in der Vergangenheit ist der beste Prädiktor für die zukünftige Wertentwicklung

Diesen Aphorismus haben Sie wahrscheinlich schon einmal gehört. Die Idee dahinter ist, dass Menschen so konsequent sind, dass ihr Verhalten in der Vergangenheit wahrscheinlich typisch für ihre Handlungen in der Zukunft sein wird. Daher ist der beste Weg, zukünftiges Verhalten vorherzusagen, die Untersuchung des aktuellen oder vergangenen Verhaltens.

Dieses Muster ist die Grundlage für viele hervorragende Bewertungsinstrumente. Zum Beispiel ist Job Sampling eine Bewertungstechnik, bei der eine Person für einen kurzen Zeitraum am Arbeitsplatz ist. Dieser Ansatz ist ein sehr starker Prädiktor für den Erfolg. Dieser Ansatz birgt jedoch eine Reihe von Herausforderungen, darunter die praktischen Auswirkungen, Risiken und Kosten, die entstehen, wenn Menschen auf Jobs gesetzt werden, für die sie nicht bereit sind.

Assessment-Center gehen auf dieses Problem ein, indem sie wichtige Teile der Stelle so simulieren, dass sie standardisiert und für alle Kandidaten wiederholt werden können. Untersuchungen haben gezeigt, dass diese Tools hervorragende Prädiktoren für die Leistung in einer Vielzahl von Jobs sind .

Durch die Kombination dieser Bewertungen mit anderen Instrumenten wie Persönlichkeitstests können Sie ein sehr abgerundetes Bild der Person erstellen. Sie können sowohl die Leistung als auch die Erkenntnisse darüber sehen, warum sie sich so verhalten haben. Aus diesem Grund verwenden so viele Unternehmen diese Kombination für sehr risikoreiche Rollen wie CEOs, Piloten und Astronauten.

Verhaltensinterviews sind eine weitere Möglichkeit, vergangenes Verhalten als Prädiktor für zukünftigen Erfolg zu nutzen. Bei diesem strukturierten Interviewansatz werden konkrete Beispiele dafür abgefragt, wann ein Bewerber eine für die neue Stelle entscheidende Kompetenz ausgeübt hat. Verhaltensbasierte Interviews sind ebenfalls hochgradig skalierbar und auf fast jeden Job anwendbar.

Hüten Sie sich vor Entscheidungsregeln, die nicht erklärt werden können

Denken Sie daran, dass Bewertung keine Zauberei ist. Diese Instrumente müssen auf wissenschaftlicher Forschung basieren. Daher müssen die Ersteller von Bewertungen in der Lage sein, die Logik und die Gründe dafür zu erklären, warum ein Tool funktioniert.

Um es klar zu sagen: Das bedeutet nicht, dass der Bewertungsschlüssel für einen Test verfügbar ist, selbst wenn Sie danach fragen. Oft sind die genauen Regeln für die Generierung einer Punktzahl auf der Grundlage einzelner Ergebnisse Eigentum der Unternehmen, die in ihre Erstellung investiert haben.

In der Tat schreiben professionelle Standards vor, dass die Informationen sicher aufbewahrt werden. Der Grund dafür ist, dass der Test, genau wie ein Algebra-Test in der Oberstufe, nicht mehr das misst, wofür er konzipiert ist, wenn die Antworten im Voraus bekannt sind. Vielmehr wird nur gemessen, ob die Person im Vorfeld Zugriff auf den Schlüssel hatte.

Bei dieser Regel geht es nicht darum, den Bewertungsschlüssel zu kennen. Es geht darum, ob der Konstrukteur des Tests überhaupt weiß, wie er funktioniert. Erlauben Sie uns, das zu erklären.

Zum Beispiel könnte ein Unternehmen Daten aus Ihren Social-Media-Posts, Reaktionen auf Online-Quiz, sogar die Zeit, die Sie zum Surfen auf einer Webseite benötigen, und welche Bilder Sie mit der Maus überfahren. Die KI könnte dann die Daten nutzen, um Vorhersagen über Sie zu treffen.

Es gibt zwar eine Reihe von Bedenken gegen diese Art der Datenerfassung, aber eines der größten Probleme besteht darin, sie für Entscheidungen am Arbeitsplatz zu verwenden. Dieser Ansatz geht über den Bereich der etablierten psychologischen Forschung hinaus. Es gibt keine fundierte Theorie, die die Auswahl der Variablen leitet. Vielmehr gibt es nur einen Algorithmus, der darauf abgestimmt wurde, eine Vorhersage mit allen Informationen zu maximieren, die er finden kann.

Machen lockige Pommes schlauer?

Ein lustiges Beispiel dafür, wie dieser Ansatz schief gehen kann, bezieht sich auf Curly Fries und IQ. Forscher der Universität Cambridge haben einen Algorithmus entwickelt , der auf 60,000 Facebook-Nutzern basiert. Unter anderem wurde festgestellt, dass Facebook-Nutzer, die lockige Pommes mögen, einen höheren IQ haben als diejenigen, die dies nicht tun.

Um diese Vorhersage zu untermauern, maß der Algorithmus alle aktuellen "Likes", die in Facebook bereitgestellt werden. Als die Studie in der Presse breit diskutiert wurde, begannen immer mehr Menschen, knappe Pommes zu "mögen". Vielleicht haben sie es getan, um zu zeigen, dass sie schlau sind, oder einfach, weil sie lecker sind.

Aber das neue Muster von "Gefällt mir"-Angaben kann den Vorhersagewert für das Vorlieben von Curly Fries im Algorithmus verändern, was dazu führt, dass die Variable keinen höheren IQ mehr vorhersagt. Diese wahre Geschichte zeigt einige der Herausforderungen, die der Einsatz von KI bei wichtigen Beschäftigungsentscheidungen mit sich bringt.

Warum hat der Algorithmus das Muster gefunden? Wahrscheinlich können es nicht einmal die Forscher erklären. Vielleicht war es eine Verzerrung in der ersten Stichprobe. Zum Beispiel, wenn die Curly-Fry-Seite auf der Grundlage eines Standes begann, der auf dem Harvard Square eröffnet wurde und von Studenten frequentiert wurde. Da in anderen Bereichen mehr Stände eröffnet werden, verschwindet die Assoziation mit IQ.

In Wahrheit werden wir es nie erfahren. Und das ist das Problem, wenn man nicht weiß, auf welcher Grundlage eine Variable eine andere vorhersagt. Wenn es keine Theorie und Forschung gibt, die eine Vorhersage leiten, besteht die Möglichkeit, dass es sich um einen vorübergehenden Zufall in den Daten handelt, der den Test der Zeit nicht bestehen wird. 

Vergleichen Sie das Beispiel mit dem Lockenbraten mit einem Test des Verkaufspotenzials, der eine Extraversion-Persönlichkeitsskala als Teil seines Designs enthält. Extraversion ist zuverlässig messbar und hat eine lange Forschungsgeschichte. Studien haben ergeben, dass Extraversion mit der Verkaufsleistung korreliert. Darüber hinaus ist es möglich zu zeigen, dass die Beziehung als einer von mehreren Teilen eines Tests für die Einstellung von Vertriebsmitarbeitern gültig ist. Die Entwickler des Tests geben Ihnen nicht den Antwortschlüssel, aber sie können sicherlich erklären, warum es funktioniert. Ohne die Ablenkung durch lockige Pommes.

In dieser algorithmusgesteuerten Welt könnte es uns gut tun, einen Rat von Harry Potter zu beherzigen: "Vertraue niemals etwas, das für sich selbst denken kann, wenn du nicht sehen kannst, wo es sein Gehirn aufbewahrt." Das algorithmische Äquivalent könnte lauten: "Vertraue nicht auf Entscheidungsregeln, die nicht erklärt werden können oder einfach keinen Sinn ergeben."

Erfahren Sie mehr über Führungskräfte-Assessment im Ultimate Guide to Leadership Assessment von DDI .

Doug Reynolds, Ph.D., ist Executive Vice President von DDI. Seine Abteilung umfasst Teams von Psychologen und Ingenieuren, die Softwaresysteme für die Bewertung und Lernprodukte für den Einsatz in großen Organisationen entwickeln. Doug hat häufig zu Themen im Zusammenhang mit der Schnittstelle von I-O-Psychologie und Technologie publiziert und Vorträge gehalten. Er ist Mitherausgeber von "Next Generation Technology-Enhanced Assessment" und "Handbook of Workplace Assessment" sowie Co-Autor von "Online Recruiting and Selection". Er diente auch als SIOP-Präsident in den Jahren 2012-2013.

Georgi Yankov, Ph.D., ist wissenschaftlicher Mitarbeiter am DDI-Hauptsitz in Pittsburgh. Er verfügt über umfangreiche Expertise in den Bereichen Psychometrie, Testentwicklung und individuelle Unterschiede. Bei DDI entwirft und validiert er Assessments für die Auswahl und Entwicklung von Führungskräften. Georgi hat einen M.Sc. in Arbeits- und Organisationspsychologie vom Baruch College (City University of New York) und einen Doktortitel in Arbeits- und Organisationspsychologie von der Bowling Green State University.