Je vois régulièrement des posts rappelant qu'utiliser ChatGPT et autre, c'est comme brûler un baril de pétrole, ou ce genre d'estimations ridicules. Du coup je me suis dit que ce serait intéressant de calculer une estimation un peu plausible.
Il y a beaucoup de choses qu'on ne sait pas, et énormément de variables à prendre en compte, donc je ne peux pas estimer combien dépense une requête pour ChatGPT, mais je vais estimer une utilisation locale, que je peux un minimum contrôler.
Le mois dernier, Microsoft a annoncé Phi-4, leur modèle open-source de petite taille (14B params, donc qui peut tourner sur mon GPU) qu'ils disent compétitif avec Gemini Pro 1.5 et GPT 4o. Avec ce genre de performances, on peut assumer que ça peut remplacer ChatGPT, je suppose ?
D'après la page Hugging Face, il a été entraîné en 21 jours sur 1920 H100-80G. Le TDP de ces cartes est de 350W, donc 8.4 kWh par jour par carte, un total de 339 MWh pour entraîner ce modèle (bon ça ignore le reste des composants mais les GPU c'est le plus lourd, on peut arrondir à 350 MWh).
En assumant que c'est entraîné aux USA, avec en moyenne 364 kg CO2e/MWh ça fait 127 tonnes de CO2e. Ça fait beaucoup, c'est 296 barils de pétrole...
Maintenant, le modèle est entraîné, c'est trop tard le mal est fait. Combien ça coûte si je l'utilise chez moi ?
J'ai une RX 6700 XT, avec un TDP de 230W. J'ai effectué 5 requêtes dessus, en lui posant des questions de programmation allant de basique à plus avancé (aussi pour voir si je vais être remplacé par une IA cette année, spoiler: non).
En moyenne, chaque requête a pris 40 secondes. Ça fait environ 2.55 Wh, avec la moyenne de 2024 au Danemark à 173g CO2e/kWh ça fait 0.44g CO2e / requête. Bon, ça va, ça ne coûte pas grand chose au final...
Du coup, le coût de l'entraînement est plus élevé que je pensais (j'espère qu'ils ont des sources propres pour leurs datacenters, ça varie beaucoup en fonction des états donc ça peut être 3 fois moins élevé que mon calcul s'ils sont sur la côte ouest), mais l'utilisation à la maison est plus basse que je pensais.
=> More informations about this toot | View the thread | More toots from Varpie@peculiar.florist
text/geminiThis content has been proxied by September (ba2dc).