[#]LLM -Fortschritte haben sich immer schon ausgezeichnet durch "plötzliche" große Sprünge bei der Effizienz, Qualität, Geschwindigkeit usw.. Forschung zu #KI legt nahe, dass ein Großteil der Architekturen redundant oder stark optimierbar sind. Deshalb kam #Deepseek-R1 nicht völlig überraschend.
Die eigentlich interessante Wendung ist die öffentliche Interpretation. Von der "Kurskorrektur" bei #Nvidia an der Börse bis hin zu " #China überholt den Westen". Denn eigentlich bedeutet es vor allem: 1) #Opensource Modelle ziehen mit closed Modellen gleich. 2) Rein vonseiten der Ressourcen ist das Rennen immer noch offen.
Kann sein, dass nächste Woche Jemand aus Nigeria oder Griechenland ein Foundation Modell für <1 Mio. trainiert. Die spannendere Perspektive ist daher: 4) der entscheidende Faktor ist Bildung und Talent (in der Breite). Ab diesem Punkt sind nicht mehr 3 "Genies" mit exorbitanten Gehältern entscheidend, sondern 2000 Leute mit einer sehr soliden Grundausbildung...
=> More informations about this toot | More toots from thomasrenkert@hcommons.social
(wehmütiger Blick in Richtung Schulsystem). Und schließlich 5) man kann jetzt große SOTA-Modelle selber mit Desktophardware (#MacMini Cluster) laufen lassen. Es hat ca. 2.5 Jahre gedauert und ist noch teuer, aber wir sind jetzt an diesem Punkt.
Man könnte jetzt - wo es jemand vorgemacht hat - ausloten (in Startups, Hochschulen usw.), wie weit eine #lowtech -Strategie, die auf andere Ansätze als scaling setzt, tragen könnte. Schon im Sinn von geopolitischer Autonomie und mehr #KIMündigkeit.
=> More informations about this toot | More toots from thomasrenkert@hcommons.social
@thomasrenkert
Eine weitere wichtige Botschaft ist: Um LLMs zu trainieren und zu betreiben, werden künftig keine neuen Atomkernkraftwerke nötig sein, weil der Energiebedarf sich noch sehr drücken lässt.
=> More informations about this toot | More toots from jk@nfdi.social
@jk für die Inference auf jeden Fall. Fürs Training gibt es eigentlich schon länger Ansätze, wie #primeintellect gezeigt hat, z.B. ray.
D.h. das Energieargument verliert so oder so schnell an Gewicht.
=> More informations about this toot | More toots from thomasrenkert@hcommons.social This content has been proxied by September (3851b).Proxy Information
text/gemini