KI-Fehler verursacht Stadionverbot: Polizei vertraut Copilot blind

Die britische West Midlands Police hat eingeräumt, dass ein Fehler von Microsoft Copilot maßgeblich zu einem ungerechtfertigten Stadionverbot für israelische Fans beitrug. Der Fall demonstriert eindrücklich, welche realen Konsequenzen ungeprüfte KI-Recherchen im behördlichen Entscheidungsprozess haben können, wenn Polizeiarbeit ungefiltert auf generativen Textmodellen basiert.

Verwechslung mit drastischen Folgen

Im Zentrum des Skandals steht eine Sicherheitsanalyse vor dem Europa-League-Spiel zwischen Aston Villa und Maccabi Tel Aviv. Die Polizei entschied sich damals für drastische Maßnahmen und schloss die Auswärtsfans komplett vom Spielbesuch aus. Wie nun vor dem Innenausschuss des britischen Parlaments bekannt wurde, basierte diese Einschätzung auf einer falschen Faktenlage, die durch künstliche Intelligenz generiert wurde.

Chief Constable Craig Guildford bestätigte, dass Analysten seiner Behörde Microsofts KI-Assistenten Copilot nutzten, um das Gefahrenpotenzial der angereisten Fans einzuschätzen. Die KI lieferte daraufhin Informationen über gewalttätige Ausschreitungen in Athen, bei denen ein Mann mit einer palästinensischen Flagge angegriffen wurde. Die Software ordnete diesen Vorfall fälschlicherweise den Fans von Maccabi Tel Aviv zu. In der Realität waren jedoch Anhänger des Rivalen Maccabi Haifa für die Gewalt in Griechenland verantwortlich.

Das Phänomen der Halluzination

Dieser Vorfall ist ein klassisches Beispiel für eine sogenannte KI-Halluzination. Große Sprachmodelle (LLMs) verstehen Fakten nicht im menschlichen Sinne, sondern berechnen Wahrscheinlichkeiten für die Wortabfolge. Wenn Datenlücken bestehen oder Kontexte ähnlich erscheinen – wie hier bei zwei Fußballvereinen aus demselben Land mit ähnlichem Namen – generiert das Modell oft plausibel klingende, aber faktisch falsche Aussagen.

Die Beamten übernahmen diese generierte Falschinformation ungeprüft in ihre Risikobewertung. Ein Bericht der Aufsichtsbehörde HMICFRS (His Majesty’s Inspectorate of Constabulary and Fire & Rescue Services), der am heutigen Mittwoch veröffentlicht wurde, kritisiert dieses Vorgehen scharf. Die Inspektoren stellten fest, dass es den beteiligten Polizisten an der nötigen „professionellen Neugier“ fehlte, die Angaben der KI durch primäre Quellen zu verifizieren. Das blinde Vertrauen in die Technologie führte zu einer Entscheidung, die Tausende Fans zu Unrecht bestrafte.

Warnung vor dem „Human-out-of-the-Loop“

Der Fall wirft grundlegende Fragen zur Integration von KI in Sicherheitsbehörden auf. Microsoft und andere Anbieter weisen in ihren Nutzungsbedingungen explizit darauf hin, dass Chatbots Fehler machen können und nicht als alleinige Quelle für kritische Entscheidungen dienen dürfen. Dennoch zeigt die Praxis, dass der "Automation Bias" – die menschliche Neigung, automatisierten Systemen mehr zu vertrauen als manueller Recherche – ein ernstzunehmendes Risiko darstellt.

Craig Guildford entschuldigte sich offiziell für den Fehler und kündigte an, die internen Richtlinien für die Nutzung von künstlicher Intelligenz zu überarbeiten. Künftig soll sichergestellt werden, dass jede durch KI gewonnene Information von menschlichen Analysten gegengeprüft wird, bevor sie in operative Entscheidungen einfließt. Für die betroffenen Fans kommt diese Einsicht zu spät, doch der Bericht dient nun als Warnschuss für Behörden weltweit, digitale Werkzeuge nicht mit digitalen Orakeln zu verwechseln.