Rechnerberatung, die einundelfzigste...

[drdope]

CPU-seitig sind "35W TDP, 54W cTDP" mehr als genug. Da reicht auch weniger. iGPU-seitig ist es schon eher knapp, mMn aber nicht zu knapp.

Ich würde ja gern sehen, daß AMD und Intel ihre Desktop-/Mobile-APUs ähnlich wie Apple designen (mit lokalen RAM auf dem SoC).

Imho ist jedes IT-Performance-Problem ein Bandbreitenproblem -> wie schnell bekomme ich Daten von a nach b bewegt und wie schnell kann ich sie verarbeiten.

Apple produziert auf den modernsten Prozessen und bindet das RAM lokal an die CPU/GPU/APU an.
Weil weder Intel noch AMD deren margen fahren können, können die aktuell den Schritt nicht gehen.
--> https://en.wikipedia.org/wiki/Apple_M3#Variants

Wenn man mal sich mal den M3 Max anschaut (92 Milliarden Transitoren) dann liegt der "nur" 10 Milliarden Transistoren über den
--> https://www.amd.com/de/products/cpu/amd-epyc-9754
Das ist absolut wild...

Und Apple bekommt es hin komplette Geräte mit der CPU/GPU/APU deutlich unter dem Preis zu verkaufen, den AMD nur für die CPU nimmt (natürlich gibt es Rabatte wenn man ein Rechenzentrum "umstellt").


Was man sich imho verinnerlichen muß -> als privater Laptop-/Desktop-Nutzer kauft man nur den Produktionsabfall.
Der richtig gute Shit (x86-64) landet in Rechenzentren/Workstations oder bei Apple (ARM).

Auf der anderen Seite bin ich mit einem:
AMD Ryzen 7 5700X3D, 8C/16T
mit 4x 8 GB RAM
und 1080TI/11GB
für mich sehr sehr gut aufgestellt (alle Spiele, die ich so zocke) laufen noch ausreichend gut (144FPS@2560x1440P), obwohl die Kiste aus 2017/18 ist (7 Jahre altes System).

Ich hab hier aber auch nen vier Jahre alten Apple MacMini M1 mit 16/500GB SSD und 10GB-LAN stehen (von meinem AG bereit gestellt).
ca. 90% der Zeit läuft die Kiste mit ca. mit 5-20W...

[phimbs]

Da gibt es leider kaum Auswahl, weil imho das Killer-Argument von einem Notebook gegenüber einen Tablet mit Tastatur die bessere Tastatur des Notebooks ist.
Nur kriegst du bei 10' keine brauchbare Tastatur realisiert (Tasten werden zu klein).


Ist die Größe den so entscheidend?
Ich frage, weil ich für mich das Gewicht als wichtiger einordnen würde.
Ich hab eh immer einen Rucksack mit gepolsterten Fach für meine "immer Unterwegs dabei-IT" am start.

Ich bin selbst mobil mit einem iPad Pro M1 8GB/128GB/5G 12,9' (ca. 0,7kg) unterwegs und hab ne billige BT-Tastatur rumfliegen, die ich im letzten Jahr ca. 3-4x mobil gebraucht hab' (ansonsten verstaubt selbige zu Hause).
Wenn ich auf Windows bzw. x86-64 Kompatibilität angewiesen wäre, wäre meine erste Wahl aktuell:
-> https://geizhals.de/lenovo-thinkpad-...-a3018288.html

- Tastatur: So eine kleine Tastatur wie die des Surface Go ist für meine Zwecke vollkommen ok (weder zum Arbeiten noch zum viel schreiben, sondern eher für surfen und etwas zocken).
- Größe/Gewicht: Das Gerät nehme ich nicht mit...ist eher für Couch und Bett - da ist mir mein normales Notebook zu sperrig für. (deshalb ist mir auch dein Vorschlag mit 14'' zu groß)
- Daher wäre mir auch Touchpadfunktion wichtig, da meist keine vernünftige Unterlage für die Maus verfügbar.

[Frozen]

Ich würde ja gern sehen, daß AMD und Intel ihre Desktop-/Mobile-APUs ähnlich wie Apple designen (mit lokalen RAM auf dem SoC).

Imho ist jedes IT-Performance-Problem ein Bandbreitenproblem -> wie schnell bekomme ich Daten von a nach b bewegt und wie schnell kann ich sie verarbeiten.

Apple produziert auf den modernsten Prozessen und bindet das RAM lokal an die CPU/GPU/APU an.
Weil weder Intel noch AMD deren margen fahren können, können die aktuell den Schritt nicht gehen.
--> https://en.wikipedia.org/wiki/Apple_M3#Variants

Wenn man mal sich mal den M3 Max anschaut (92 Milliarden Transitoren) dann liegt der "nur" 10 Milliarden Transistoren über den
--> https://www.amd.com/de/products/cpu/amd-epyc-9754
Das ist absolut wild...

Und Apple bekommt es hin komplette Geräte mit der CPU/GPU/APU deutlich unter dem Preis zu verkaufen, den AMD nur für die CPU nimmt (natürlich gibt es Rabatte wenn man ein Rechenzentrum "umstellt").


Was man sich imho verinnerlichen muß -> als privater Laptop-/Desktop-Nutzer kauft man nur den Produktionsabfall.
Der richtig gute Shit (x86-64) landet in Rechenzentren/Workstations oder bei Apple (ARM).

Auf der anderen Seite bin ich mit einem:
AMD Ryzen 7 5700X3D, 8C/16T
mit 4x 8 GB RAM
und 1080TI/11GB
für mich sehr sehr gut aufgestellt (alle Spiele, die ich so zocke) laufen noch ausreichend gut (144FPS@2560x1440P), obwohl die Kiste aus 2017/18 ist (7 Jahre altes System).

Ich hab hier aber auch nen vier Jahre alten Apple MacMini M1 mit 16/500GB SSD und 10GB-LAN stehen (von meinem AG bereit gestellt).
ca. 90% der Zeit läuft die Kiste mit ca. mit 5-20W...

Du scheinst noch nicht im AI Zeitalter angekommen zu sein?

In Bereichen, wo die Margen deutlich über dem sind, was Apple sich in absoluten Zahlen derzeit erträumt, ist das quasi Standard bzw. dabei Standard zu werden

Im Desktop/Notebook Bereich allerdings nicht, das stimmt.

Es gibt dabei viele spannende Entwicklungen.

So einseitig wie: Apple woooooaaaw, Rest schläft, ist es sicher nicht

[Shakka]

Ich würde ja gern sehen, daß AMD und Intel ihre Desktop-/Mobile-APUs ähnlich wie Apple designen (mit lokalen RAM auf dem SoC).

Am ehesten vergleichbar sind vielleicht die AMD-CPUs aus der PlayStation oder XBox. Da gibt es schnell an die APU angebundenen Speicher.

[drdope]

Ich mach aktuell gar nichts mit KI.

Ich arbeite seit ca. 2,5 Jahren wieder in der Pflege (11'21 bis Mitte 10'23 in der außerklinischen Intensivpflege - beatmete Wachkomapatienten) und seit 11'23 wieder rein palliativ in der Klinik.
Ich kümmere mich aktuell primär um absehbar sterbende/totkranke Menschen und scanne regelmäßig klinikinterne Dokumente/Faxe (Scan2mail) die ich manuell aus Outlook per "Print2PDF" erneut ins KIS drucke.
Dabei ergänze ich händisch die Fallnummer ins System, die sowieso via Bar- und QR-Code auf dem Patientenaufkleber des gescannten Dokuments existiert (und nicht genutzt wird) und tagge das Dokument händisch zu dem "Fall", weil das gescannte Original-Dokument sich nicht via Bar-/QR-Code an den Scanner identifiziert.

Das ist gleichzeitig Realität und sehr offtopic.

So einseitig wie: Apple woooooaaaw, Rest schläft, ist es sicher nicht

Ich schaue mir halt an, was so in der meiner Realität im Alltag ankommt; und da sind die modernsten Systeme die iPhone15x, die KollegInnen privat nutzen.

Am ehesten vergleichbar sind vielleicht die AMD-CPUs aus der PlayStation oder XBox. Da gibt es schnell an die APU angebundenen Speicher.

Ich verstehe nicht wirklich, warum man das nicht bei Desktops macht.
Ist das ein reines Preis-/Skalierungsproblem?

So rein von den Specs rennt doch jede PS5/Xbox X Kreise um aktuelle iGPU-Desktops hinsichtlich GPU- Performance/Bandbreite Kreise, oder?.
--> https://geizhals.de/?cmp=3039142&cmp=2378111&active=1

[Mongke Khan]

Du scheinst noch nicht im AI Zeitalter angekommen zu sein?

Das scheint mir auch so

[Shakka]

Mittlerweile gibt es ja NPUs in Consumer-Geräten. Aber wo gibt es denn Anwendungen dafür?

Bei Apple gibt es das ja schon seit Jahren. Und so gibt es da immerhin hier und da auch ein bisschen Software dafür. Zum Beispiel Speech-to-text. Oder man kan im Bildbetrachter Text markieren als wäre es kein Bild sondern Text. Das ist ja ganz nett.

Für LLMs gäbe es sicher noch mal nützliche Anwendungen. Aber die werden wohl nicht so schnell mit so Popel-Beschleunigern in der CPU laufen. Und die Anbieter dieser Software werden wohl nicht auf ihre Abomodelle verzichten wollen, was sie als Online-Services am besten durchsetzen können.

[drdope]

Ich seh' mich mit knapp 100TB lokalen Storage, via 10GBit-LAN angebunden (my local Netflix/Spotify; gewachsen seit 2002) noch nicht komplett als Boomer, obwohl erst seit 1983 Computer nutze.

Was passiert da gerade hinsichtlich KI spannendes, daß ich komplett nicht auf dem Schirm habe?

[justanick]

Ich verstehe nicht wirklich, warum man das nicht bei Desktops macht.
Ist das ein reines Preis-/Skalierungsproblem?

Hauptsächlich. HBM ist pro GB um ein Vielfaches teuer als DDR5. Und GDDR6 ist pro GB deutlich teuer als als DDR5, vermutlich auch absolut stromhungriger trotz höher Energieeffizienz. Das lohnt einfach nicht für gewöhnliche CPUs.

[drdope]

Gleichzeitig sind die Konsolen gemessen an der verbauten Hardware deutlich günstiger als aktuelle PCs...

[Fonte Randa]

Das funktioniert wie bei Druckern: Die Tinte ist das Produkt.

Also hier: die Spiele und die Abos...

[Shakka]

Auf den Grafikkarten sitzt ja auch schneller Speicher.
Selbst in Smartphones gibt es sowas wie LPDDR5X. Das kann also nicht so teuer sein und dürfte weniger Strom verbrauchen als normales Desktop-DDR5.

[drdope]

Gleichzeitig sind die Konsolen gemessen an der verbauten Hardware deutlich günstiger als aktuelle PCs...

Mittlerweile gibt es ja NPUs in Consumer-Geräten. Aber wo gibt es denn Anwendungen dafür?

QED!

Bild1 ist ein runterskaliertes lowlight Foto von einem iPhone13Mini (original ist 2MB groß); zu viel für das Forum
--> https://postimg.cc/CBnWWD2p



Bild2 ist sogar original 2,3MB groß... den Text hab ich im iPhone markiert und konnte selbigen 1:1 ins Forum pasten (die Gänsefüßchen hab ich selbst hinzugefügt); da funzt quasi online OCR.
Ist das schon "KI"?



"Mittlerweile gibt es ja NPUs in Consumer-Geräten. Aber wo gibt es denn Anwendungen dafür?
Bei Apple gibt es das ja schon seit Jahren. Und so gibt es da immerhin hier und da auch ein bisschen Software dafür. Zum Beispiel Speech-to-text. Oder man kan in markieren als wäre es kein Bild sondern Text. Das ist ja ganz nett.
Für LLMs gäbe es sicher noch mal nützliche Anwendungen. Aber die werden wohl nicht so schnell mit so Popel-Beschleunigern in der CPU laufen. Und die Anbieter di werden wohl nicht auf ihre Abomodelle verzichten wollen, was sie als Online-Services am besten durchsetzen können"

Aber wo bringt mir KI als User was?

[Frozen]

Eine AMD MI300A sollte z.B. doch dem entsprechen, was du möchtest oder habe ich dich da falsch verstanden?

Nicht ganz das, aber in die Richtung geht die GH200.
Und auch nicht ganz das, aber ziemlich verrückt ist die GB200 NVL.
Da werden quasi alle 72 einzelne GPUs mit insgesamt 130 TB/s NVLink Switches miteinander verbunden und jede GPU kann in den Speicher der anderen GPUs lesen und schreiben.

Im "normalen" HPC sind solche Fähigkeiten zwar nice to have, aber nicht immer so wichtig. Da reichen für einen aktuellen GPU Cluster gerne mal 800Gbit Netzwerk pro Knoten.
Man rechnet grob 2GB Speicher pro Standard HPC Core, macht bis zu 512 GB Speicher, das bekommt man schon irgendwie auf GPUs sinnvoll geportet.
Bei AI sind AllToAll-Calls deutlich wichtiger und die Limitierungen bei Speicher deutlich kritischer.
Das ist da der Entwicklungstreiber.

Und NVIDIAs Mellanox Übernahme wird damit zu einem Gamechanger und voller Erfolg für NVIDIA.

[Shakka]

Aber wo bringt mir KI als User was?

Fürs Gaming wäre es vielleicht interessant, wenn man damit die KI der NPCs spürbar verbessern würde. Aber in diese Richtung ist mir nichts bekannt.

Eine AMD MI300A sollte z.B. doch dem entsprechen, was du möchtest oder habe ich dich da falsch verstanden?

Ja. Er schrieb direkt im ersten Satz, dass es um "Desktop-/Mobile-APUs" geht.
Und das war ja auch der Kontext der Konversation: So eine APU ist eigentlich gut genug. Schöner wäre aber mehr GPU-Leistung. Was leider an der Speicherbandbreite hängt.