95 Prozent weniger VRAM: Wie Topaz Labs große KI-Modelle schrumpft
Das Local Update für Topaz Photo und Astra beendet den Cloud-Zwang. Ein cleverer Streaming-Ansatz schont den Grafikspeicher enorm.
Topaz Labs hat mit NeuroStream eine neue Technologie vorgestellt, die den Grafikkartenspeicher-Bedarf (VRAM) für große KI-Modelle um bis zu 95 Prozent senkt. Dadurch lässt sich das bisher cloudbasierte Bildbearbeitungs-Modell „Wonder 2“ ab sofort lokal auf handelsüblichen Computern ausführen.
Lokale Bildbearbeitung ohne Cloud-Zwang
Topaz Photo integriert in den Versionen 1.3.0 und 1.3.1 das sogenannte Local Update, dessen Neuerungen auch in Topaz Astra Einzug halten. Im Zentrum des Updates steht das KI-Modell Wonder 2. Es ist in der Lage, Bilder in einem einzigen Schritt gleichzeitig zu entrauschen, zu schärfen und hochzuskalieren.
Bisher war diese rechenintensive Aufgabe an die Server des Unternehmens gebunden. Durch die neuen Funktionen verarbeiten Anwender ihre Fotos nun direkt auf dem eigenen Gerät. Das schützt die Privatsphäre und ermöglicht das Arbeiten ohne aktive Internetverbindung. Begleitend dazu führt das Unternehmen für Geschäftskunden eine neue Offline-Authentifizierung ein.
Quelle: Topaz
Wie die Speicherersparnis funktioniert
Möglich macht diesen Schritt die NeuroStream-Technologie. Sie arbeitet im Hintergrund eng mit einem Dienst namens NeuroServer zusammen. Um den VRAM-Bedarf um bis zu 95 Prozent zu reduzieren, lädt die Software das riesige KI-Modell nicht mehr als kompletten Block in den Speicher der Grafikkarte.
Stattdessen streamt das System die benötigten Daten dynamisch in Echtzeit. Die Software schiebt also immer nur exakt den Teil der Modelldaten in den Grafikspeicher, der für den aktuellen Rechenschritt zwingend erforderlich ist. Der große Rest verbleibt währenddessen im regulären Arbeitsspeicher des Systems. Sobald die Bildbearbeitung abgeschlossen ist, beendet sich der lokale Server automatisch.
Quelle: Topaz
Moderate Anforderungen an die Hardware
Durch diesen Streaming-Ansatz sinken die Hardware-Voraussetzungen erheblich. Anwender benötigen für die lokale Ausführung von Wonder 2 nun lediglich eine Nvidia-Grafikkarte mit mindestens acht Gigabyte VRAM. Nutzer von Mac-Computern können die Technologie auf Systemen mit Apple-Silicon-Prozessoren einsetzen, sofern das Gerät über mindestens zwölf Gigabyte Arbeitsspeicher verfügt.
Dabei unterscheidet sich die neue lokale Variante leicht von der bekannten Cloud-Version. Die lokal gerenderten Bilder wirken oftmals noch etwas schärfer und zeigen speziell bei Gesichtern detailliertere Ergebnisse. Topaz Labs plant bereits, über diese neue Infrastruktur bald weitere anspruchsvolle Modelle direkt auf die Rechner der Nutzer zu bringen.
