Mistral Large 4 en poids ouverts : bonne nouvelle, mais je ne le ferai pas tourner

Mistral a publié fin octobre les poids de Large 4, un modèle d'environ mille milliards de paramètres. Pour l'Europe, c'est une vraie avancée. Pour quelqu'un qui sert ses modèles sur une L4, les comptes sont vite faits, et la licence a reculé par rapport à Large 3.

Fin octobre, Mistral a mis en ligne sur Hugging Face les poids de Mistral Large 4. Environ mille milliards de paramètres, une architecture mixture-of-experts, du texte et de l'image en entrée, une fenêtre de contexte annoncée à un million de tokens. Le modèle est présenté comme le meilleur modèle à poids ouverts d'Europe et des États-Unis, Mistral reconnaissant au passage que des modèles chinois comme DeepSeek, Kimi ou GLM restent devant dans plusieurs domaines.

J'ai lu beaucoup de « l'IA européenne ouverte est de retour » cette semaine. Je suis content pour Mistral, sincèrement. Mais en tant que personne qui fait tourner ses modèles sur sa propre infra, j'ai surtout sorti une calculette.

Le calcul que personne ne met dans les titres

La mémoire nécessaire pour charger un modèle, c'est le nombre de paramètres multiplié par la taille de chaque paramètre.

  • En 16 bits (2 octets) : environ 2 To de poids.
  • En FP8 (1 octet) : environ 1 To.
  • En 4 bits (un demi-octet) : environ 500 Go.

Mon LLM tourne sur une NVIDIA L4, avec 24 Go de mémoire. Pour simplement charger la version FP8, il en faudrait une quarantaine, avant même de compter le cache KV. Avec des H100 de 80 Go, il en faut 13 pour les poids seuls, donc en pratique deux serveurs de 8 GPU. D'après la presse, les versions quantifiées tournent sur 4 à 8 GPU B200 ou B300, le haut de gamme actuel de NVIDIA.

On me répondra : c'est un mixture-of-experts, seuls un peu plus de 50 milliards de paramètres sont actifs à chaque token (c'est ce qu'indique le nom du dépôt, Mistral-Large-4-1T-A52B). C'est vrai, et ça réduit le calcul par token. La mémoire, elle, ne baisse pas : tous les experts doivent être chargés, puisqu'on ne sait pas à l'avance lesquels le routeur va choisir.

« Ouvert », mais pour qui ?

Les poids ouverts servent à quelque chose de précis. Une administration, une grande entreprise ou un hébergeur peut faire tourner le modèle chez lui, l'auditer, le spécialiser, sans dépendre d'une API américaine ou chinoise. Pour la souveraineté numérique européenne, c'est important, et je ne le minimise pas.

Pour un indépendant ou une petite équipe, un modèle de cette taille s'utilise par API, exactement comme un modèle fermé. Le vrai gain viendra des versions plus petites, et de la licence sous laquelle elles sortiront.

La licence a reculé

Large 3 était publié sous Apache 2.0. Large 4 arrive sous une licence maison, la « Mistral Ecosystem Open-Weight license », décrite comme une MIT modifiée. La restriction principale : une entreprise qui revend l'accès au modèle sous forme de service doit obtenir une licence commerciale auprès de Mistral.

Je comprends la logique. Entraîner un modèle sur près de 4 000 GPU coûte une fortune, et Mistral n'a pas envie de voir des hébergeurs revendre son travail sans rien reverser. Mais ça veut dire que les acteurs capables de servir ce modèle à grande échelle, ceux qui ont les GPU, sont justement ceux qui ont besoin d'une autorisation. On s'éloigne de l'open source au sens strict, et c'est un vrai changement par rapport à la génération précédente.

Ce que j'attends vraiment

Mistral annonce des versions distillées « dans les prochains mois », dont une qui tournerait sur un ordinateur portable, sans donner de date. Pour moi, c'est la partie intéressante de l'annonce. Un bon modèle de 7 à 30 milliards de paramètres, distillé depuis Large 4, sous une licence claire, je peux le servir avec vLLM sur ma L4, le mesurer, et l'intégrer dans mon RAG.

En attendant, Large 4 en poids ouverts reste une bonne nouvelle pour l'écosystème, et une ligne de plus dans la liste des modèles que je ne ferai pas tourner moi-même. Les deux sont vrais en même temps, et je préférerais que les annonces le disent aussi clairement.

Sources