Auf Twitter hat Raja Koduri der Adaption von HBM-Speicher für Consumer-Bedürfnisse eine klare Absage erteilt. Wie bekannt, hatte sich Raja Koduri zu seinen AMD-Zeiten mal genau daran versucht (Fury- & Vega-Grafikkarten der Jahre 2015-2019), dies wurde dann jedoch seitens AMD später nicht mehr weiterverfolgt. Heuer nun erscheint eine Rückkehr von HBM-Speicher ins Consumer-Segment unwahrscheinlicher denn je, denn dessen Preislage hat sich maßgeblich ungünstig entwickelt. Hierzu passt auch, dass laut Golem Speicherchip-Hersteller SK Hynix bereits jetzt seine komplette HBM-Produktion für das Jahr 2024 verkauft hat – und dies als führender HBM-Anbieter. Im Endeffekt ist dies natürlich auch nur eine Nebenfolge des aktuellen KI-Booms, denn die KI-Beschleuniger von AMD, Intel und nVidia setzen inzwischen ausschließlich auf HBM-Speicher.

Raja, do you foresee HBM becoming mainstream in client or server computing?
Quelle:  CBG San @ Twitter am 22. Februar 2024
 
The answer is no. Unfortunately the $/byte on HBM has increased and all indications are that HBM4 would cost even more per-byte! HBM pricing is following inverse Moore's law!!
In 2015 our dream was to make HBM into mainstream memory, including bringing into laptops. There were two mobile designs as well that shipped, one of them (KBL-G) was a partnership between AMD and Intel, other was largely confined to Apple MacBook Pro.
Quelle:  Raja Koduri @ Twitter am 22. Februar 2024

Die hohe Nachfrage nach KI-Beschleunigern generiert eine ebenso hohe Nachfrage nach HBM-Speicher, was bei einer nicht wirklich großen Fertigung die Verfügbarkeit nach unten und die Preise nach oben gehen läßt. Selbst wenn damit perspektivisch mehr HBM-Speicher gefertigt wird bzw. neue Fertigungsstraßen für HBM aufgebaut werden, bedeutet dies keineswegs eine bessere Ausgangssituation für die Nutzung bei Consumer-Gerätschaften. Dafür sind die Preise viel zu hoch und ist auch der Bedarf durch die KI-Beschleuniger zu erdrückend. Somit läßt sich keine Verfügbarkeit planen, was für alle Consumer-Hardware (welche in wesentlich größeren Stückzahlen benötigt wird) Grundvoraussetzung ist, um eine gewisse Technik überhaupt einsetzen zu können. An der hohen Preislage laben sich dann natürlich auch die Speicherhersteller, womit sich an dieser Situation für die nächste Zeit schwerlich etwas ändern wird.

Im Analysten-Gespräch zu den jüngsten Quartalszahlen hat nVidia erneut Lieferschwierigkeiten für die nächste nVidia-Generation angekündigt – weil der Bedarf die Fertigungskapazitäten übersteigen wird. Wichtig ist hierbei zu erwähnen, dass diese Aussage im Zusammenhang mit der Auswertung der Zahlen zum DataCenter-Segment bei nVidia fiel und somit augenscheinlich nur auf die kommenden HPC-Lösungen der "Blackwell"-Generation zu münzen wäre. Bei selbigen ist eine solche Entwicklung nur folgerichtig: Die aktuelle Hopper-Generation konnte lange Zeit nicht mit dem Bedarf mithalten, erst in letzter Zeit hat nVidia die Wartezeiten der eigenen Kunden durch die Erschließung neuer Packacking-Kapazitäten substantiell verringern können.

We expect our next-generation products to be supply constrained as demand far exceeds supply.
Quelle:  nVidia CFO Colette Kress zum "Q4 2024 Earnings Call" am 21. Februar 2024, notiert von Seeking Alpha

Sobald "HPC-Blackwell" (der GB100-Chip mit Produktnamen "B100") mit erneut einem erheblichen Sprung in der Rechenleistung sowie auch der Energieeffizienz veröffentlicht wird, dürften insbesondere an höchstmöglicher Performance interessierte Abnehmer nVidia erst einmal mit Aufträgen zuschütten, was anfänglich unmöglich zu schultern sein wird. Denkbar, dass nVidia dies sogar dazu nutzen kann, die eigenen Preise noch weiter nach oben zu ziehen – sobald die Fertigungsmengen größer werden und/oder die Konkurrenz nachzieht, kann man jene immer noch wieder senken. Wie gesagt hat dies alles nichts mit dem Consumer-Segment zu tun, selbst wenn nVidia dort genauso wie bei HPC-Blackwell auf dieselbe 3nm-Fertigung setzen sollte (nach was es ausschaut). Allerdings wird die Fertigungsmenge jener KI-Beschleuniger weder aktuell noch zukünftig von TSMCs Waferzuteilungen an nVidia limitiert, sondern eher denn von den Kapazitäten bei "Advanced Packaking" sowie auch der Verfügbarkeit von HBM-Speicher.

Demzufolge ergibt sich derzeit auch keinerlei "Gefahr", dass diese Knappheit an KI-Beschleunigern irgendwie auf Consumer-Hardware umspringen würde. Sicherlich kommen jene in der aktuellen wie zukünftigen nVidia-Generation aus derselben TSMC-Fertigung bzw. demselben Node. Allerdings benötigt Consumer-Hardware weder "Advanced Packaking" noch HBM-Speicher. Zudem sind die Relationen der benötigen Wafer-Mengen auch derart gelegen, dass nur ein Bruchteil der Wafermenge für Consumer-Hardware ausreichen würde, um den Ausstoß von HPC-Chip glatt zu verdoppeln. Genauso ist TSMC eigentlich noch nicht voll ausgelastet, könnte also die Wafermengen bei den bestehenden Nodes 5nm & 7nm durchaus noch erhöhen. Einzig der neue 3nm-Node könnte anfänglich etwas limitieren, was sich mit der Zeit allerdings auch wieder geben dürfte. All dies spricht klar dafür, dass von KI-Beschleunigern derzeit kein Risiko ausgeht, eine Halbleiter-Knappheit auch für Consumer-Güter, insbesondere Gaming-Grafikkarten, zu erzeugen.

In Korrektur zur gestrigen News wäre noch zu erwähnen, dass dort die Intel-Werte zu "IccMax" and "IccMax App" in den Zitaten der Twitterer falsch herum dargestellt wurden. Das Stromlimit für den "Normalbetrieb" ist also "IccMax App" und liegt bei einem Wert von "245A", das Stromlimit für sogenannte Powerviren ist hingegen "IccMax" und liegt bei "307A". So oder so liegt die Empfehlung darauf, den kleineren Wert zu benutzen – wirklich Performance verliert man dabei nicht, das Performance-Ergebnis entspricht denjenigen Hardware-Testern, welche streng nach Intel-Spezifikation testen (aus dem Kopf: ComputerBase & AnandTech, sicherlich auch andere). Der unlimitierte Betrieb bringt unter großen großen Benchmark-Felder üblicherweise nur unbemerkbar an Mehrperformance, weil oftmals nur ein Bruchteil der Benchmarks überhaupt darauf reagiert. Außerhalb von Übertaktungs-Szenarien sollte man daher eher den Intel-Standard manuell setzen, anstatt dem Mainboard hierbei freie Hand zu geben.

Going by Intel's official documentation, 245A IccMax is sort of a "hard" limit, which includes power virus applications, while 307A is the "soft" limit for normal usage scenarios. There's also a 400A "Extreme" profile, which got introduced with the KS, iirc.
Quelle:  Vectral @ Twitter am 22. Februar 2024
 
u got it wrong way around, iccmax is for "virus" application, so stress tests, and iccmax app is for daily usage
Quelle:  StarBleu @ Twitter am 23. Februar 2024
 
Oh whoops, you're right. I indeed have the IccMax and IccMax App values switched around.
Quelle:  Vectral @ Twitter am 23. Februar 2024