KI-Energieverbrauch um 95 % gesenkt: BitEnergy AI mit neuem Algorithmus

Der Algorithmus L-Mul spart Energie bei Skalarprodukten und Tensor-Multiplikationen nahezu verlustfrei.

Zusammenfassung | AI Caramba, 12.10.24
95 weniger Energie KI
Flux Schnell | All-AI.de

Worum geht es?

Forscher von BitEnergy AI haben einen revolutionären Algorithmus namens „Linear-complexity multiplication“ (L-Mul) entwickelt, der den Energiebedarf von KI-Systemen drastisch reduzieren könnte. Durch den Ersatz von energieintensiven Gleitkomma-Multiplikationen, die in vielen KI-Modellen verwendet werden, durch effizientere Ganzzahl-Additionen, könnte der Stromverbrauch in einigen Bereichen um bis zu 95 Prozent gesenkt werden.

News

Laut der Studie „Addition is All You Need for Energy-Efficient Language Models“ reduziert L-Mul den Energieverbrauch bei elementweisen Gleitkomma-Tensor-Multiplikationen um 95 Prozent und bei Skalarprodukten um 80 Prozent. Dieser Ansatz wurde auf eine Vielzahl von Aufgaben getestet, darunter Sprachverständnis, Mathematik und logisches Schlussfolgern.

Besonders vielversprechend ist der Einsatz von L-Mul im Aufmerksamkeitsmechanismus, der eine zentrale Rolle in modernen Sprachmodellen wie den Transformer-Modellen spielt. Erste Tests zeigen, dass die Anwendung von L-Mul hier nahezu verlustfrei ist.

Die Entwickler planen, den Algorithmus auf Hardwareebene zu implementieren und spezielle APIs zu entwickeln, um die Programmierung und das Design von KI-Modellen zu vereinfachen. Dies könnte es Unternehmen und Forschungseinrichtungen ermöglichen, maßgeschneiderte KI-Systeme schneller und effizienter zu trainieren und dabei den Energieverbrauch deutlich zu senken.

Short

  • Der L-Mul-Algorithmus von BitEnergy AI reduziert den Energieverbrauch von KI-Systemen um bis zu 95 %.
  • Statt energieintensiver Gleitkomma-Multiplikationen nutzt der Algorithmus effiziente Ganzzahl-Additionen.
  • Besonders im Aufmerksamkeitsmechanismus von Sprachmodellen wie dem Transformer ist der Einsatz von L-Mul nahezu verlustfrei.
  • Die Implementierung des Algorithmus auf Hardwareebene könnte KI-Training effizienter und kostengünstiger machen.

Quellen:

1. BitEnergy AI, 2024

Kommentieren, diskutieren und teilen!

Anmelden