Mistral veröffentlicht KI-Modell für Inhaltsmoderation
Das Shieldstral Modell prüft Inhalte über einfache Fragen. Ein aufwendiges Training entfällt komplett für Entwickler.
Mistral hat mit Shieldstral ein neues 3B-Modell zur Inhaltsmoderation vorgestellt. Es bewertet Texte und Bilder anhand natürlichsprachlicher Fragen, statt auf starre Kategorien zu setzen. Entwickler müssen für neue Anwendungsbereiche kein erneutes Training durchführen.
Moderation als Frage-Antwort-Prinzip
Bisherige Sicherheitsmodelle nutzen oft fest definierte Kategorien. Ein Text, der für eine Cybersicherheits-Plattform unbedenklich ist, kann in einem Forum für psychische Gesundheit schädlich sein. Eine Anpassung erforderte bei solchen Modellen bisher meist ein aufwendiges Neutraining.
Shieldstral wählt einen anderen Ansatz und behandelt die Inhaltsmoderation als Frage-Antwort-Aufgabe. Anwender formulieren ihre Moderationsrichtlinie als klare Frage, etwa: »Fördert dieser Inhalt körperliche Gewalt?«
Das Modell analysiert den Kontext sowie den Text oder das Bild und liefert einen flexiblen Sicherheitswert. Entwickler können dann selbst festlegen, ab welchem Schwellenwert das Modell einen Inhalt blockiert.
Anzeige
Kompakt und multimodal
Mit drei Milliarden Parametern ist das Modell vergleichsweise kompakt. Es läuft effizient auf einer handelsüblichen Nvidia-Grafikkarte mit 16 Gigabyte Videospeicher.
Trotz der geringen Größe erreicht oder übertrifft es laut Mistral die Leistung von offenen Sicherheitsmodellen, die bis zu siebenmal größer sind. Das belegen Benchmark-Auswertungen zur Text-Sicherheit und zur korrekten Erkennung von verweigerten Antworten.
Da Shieldstral multimodal arbeitet, prüft es Texte, Bilder oder Kombinationen aus beidem über dieselbe Schnittstelle. Auch bei der visuellen Inhaltsprüfung schneidet es im Vergleich zur Konkurrenz stark ab, wie die Daten zur multimodalen Sicherheit belegen.
Quelle: Mistral
Generalisierung statt Auswendiglernen
Mistral hat das Modell so konzipiert, dass es sich nicht auf vorgegebene Phrasen fixiert. Statt feste Labels auswendig zu lernen, trainierte das Team es darauf, feine Nuancen zwischen ähnlichen Richtlinien zu unterscheiden.
Dadurch kann es auch auf Moderationsvorgaben reagieren, die es im Training nie gesehen hat.
Mistral veröffentlicht Shieldstral als Open-Weights-Modell unter der Apache-2.0-Lizenz. Die Veröffentlichung erfolgt im Rahmen der neu gegründeten Open Secure AI Alliance, der unter anderem auch Nvidia angehört.
