La question revient dans toutes les petites structures qui commencent à outiller leurs équipes avec de l’IA générative : faut-il appeler un modèle de langage par une API distante, ou l’héberger sur une machine à soi ? Le débat est le plus souvent posé en termes de convictions — souveraineté contre facilité. Il se tranche beaucoup mieux avec trois grandeurs mesurables : la quantité de mémoire disponible, la vitesse à laquelle cette mémoire est lue, et le volume de jetons consommés chaque mois. Le cadre juridique et les compétences d’exploitation viennent ensuite, et ils ne renversent la décision que dans des cas identifiables.
Ce que « faire tourner un modèle » veut dire, en gigaoctets
Un modèle de langage est d’abord un tableau de nombres. Dans sa précision native — le format bfloat16, soit 2 octets par paramètre — un modèle de 24 milliards de paramètres occupe environ 48 Go. Aucune carte graphique grand public ne dispose d’une telle quantité de mémoire vive, et c’est précisément le problème que résout la quantification : on réduit le nombre de bits utilisés pour coder chaque poids.
Le format de fichier le plus répandu pour cet usage est GGUF, conçu pour les moteurs d’inférence de la famille ggml. La documentation du format détaille les variantes : Q4_K aboutit à 4,5 bits par poids, Q5_K à 5,5 bits, Q6_K à 6,5625 bits. Le calcul se pose alors sans ambiguïté : 24 milliards de poids à 4,5 bits représentent environ 13,5 Go de fichier. À cela s’ajoute le cache des clés et valeurs d’attention, qui croît linéairement avec la longueur du contexte et peut peser plusieurs gigaoctets sur une fenêtre de 128 000 jetons.
Les ordres de grandeur annoncés par les éditeurs sont cohérents avec cette arithmétique. Mistral AI indique pour Mistral Small 3.1, publié sous licence Apache 2.0 avec une fenêtre de contexte allant jusqu’à 128 000 jetons, que le modèle « peut fonctionner sur un seul RTX 4090 ou un Mac doté de 32 Go de RAM ». C’est là le vrai seuil d’entrée du local : non pas la puissance de calcul, mais la capacité mémoire.
Le goulot d’étranglement est la bande passante, pas les téraflops
La génération de texte est autorégressive : le modèle produit un jeton, le réinjecte, et recommence. À chaque jeton, l’ensemble des poids actifs doit être relu depuis la mémoire de la carte. Le débit maximal d’un flux unique se calcule donc directement : bande passante mémoire divisée par la taille des poids lus. Avec 13,5 Go de poids et une carte de l’ordre du téraoctet par seconde, le plafond arithmétique se situe autour de quelques dizaines de jetons par seconde — et aucune optimisation logicielle ne le franchira.
Cette contrainte explique deux choses. D’abord le positionnement des cartes récentes : la GeForce RTX 5090 embarque 32 Go de GDDR7 sur un bus de 512 bits pour une consommation annoncée de 575 W — la capacité et la largeur du bus comptent davantage, pour cet usage, que le nombre d’unités de calcul. Ensuite l’avantage structurel du cloud : en traitant des dizaines de requêtes par lot (batching), un opérateur lit les poids une seule fois pour servir plusieurs utilisateurs. Le coût par jeton s’effondre mécaniquement, ce qu’une machine mono-utilisateur ne peut pas reproduire. Les architectures dites à « mélange d’experts » desserrent partiellement cet étau en n’activant qu’une fraction des paramètres à chaque jeton. Pour qui a déjà bataillé avec des arbitrages de capacité mémoire sur un poste de travail, la logique est familière : la quantité disponible détermine ce qu’on peut charger, sa vitesse détermine ce qu’on peut en faire.
L’énergie : ce que le régulateur a effectivement mesuré
Le débat « local plus vert que le cloud » manquait de données publiques. Il en existe désormais. L’Arcep a publié en mai 2026, avec le Pôle d’expertise de la régulation numérique (PEReN), un rapport intitulé « Intelligence artificielle générative : quels défis environnementaux ? ». Sa partie expérimentale est directement utile : 22 modèles à poids ouverts, de 3 à 123 milliards de paramètres, ont été mesurés en inférence sur le supercalculateur Jean Zay.
Trois résultats méritent d’être retenus. La quantification en 8 ou 4 bits produit un gain moyen de 39 % sur la consommation électrique. Les modèles à mélange d’experts consomment en moyenne 45 % de moins que les modèles denses de taille équivalente. Enfin, l’activation d’un mode « raisonnement » coûte cher : jusqu’à +92 % en moyenne sur les modèles testés, et jusqu’à +849 % sur une tâche de génération de code. Le rapport ajoute une conclusion contre-intuitive : les modèles les plus énergivores ne sont pas nécessairement les plus performants.
Sur l’impact unitaire, les chiffres compilés par l’Arcep vont de 0,24 Wh pour une requête textuelle médiane annoncée par Google à quelques wattheures selon les estimations académiques, avec un avertissement explicite sur l’absence de méthodologie harmonisée. Côté infrastructure, le rendement des centres de données français progresse lentement : indicateur PUE moyen de 1,42 en 2024 contre 1,46 en 2023, pour une consommation en hausse de 12 % sur l’année parmi les opérateurs suivis. La leçon pratique est claire : le levier de sobriété n’est pas l’endroit où tourne le modèle, mais le choix du modèle, son format et l’activation ou non du mode raisonnement. Une station locale à 575 W en charge continue consomme 0,575 kWh par heure de calcul, refroidissement du local non compris.
Le droit ne suit pas le câble
Envoyer des données à un service d’IA distant, c’est presque toujours une sous-traitance au sens du RGPD, avec ce qu’elle implique de contrat, de localisation d’hébergement et de durées de conservation. La CNIL a finalisé le 22 juillet 2025 trois recommandations portant notamment sur l’application du RGPD aux modèles entraînés sur des données personnelles, sur l’annotation et sur la sécurité du développement, et met à disposition une série de fiches pratiques IA qui traitent de la qualification juridique des fournisseurs.
S’y ajoute le calendrier européen. Le règlement sur l’intelligence artificielle est entré en vigueur le 1er août 2024 ; les obligations relatives aux modèles à usage général s’appliquent depuis le 2 août 2025, et l’application générale du texte est fixée au 2 août 2026, avec des échéances repoussées pour certains systèmes à haut risque. Enfin, l’ANSSI a publié le 29 avril 2024 des recommandations de sécurité pour un système d’IA générative couvrant l’ensemble du cycle, de l’entraînement à la mise en production.
Il faut en tirer la conséquence inconfortable : héberger en interne ne vaut pas conformité. Un serveur GPU posé sous un bureau, sans cloisonnement réseau, sans journalisation ni gestion des accès, expose davantage les données qu’un contrat de sous-traitance correctement rédigé. Le local déplace la responsabilité, il ne la supprime pas.
La grille de décision
Six critères suffisent en général à trancher :
- Volume mensuel de jetons — c’est la seule variable qui décide économiquement. En dessous de quelques millions de jetons par mois, l’amortissement d’une machine dédiée ne se justifie pas.
- Sensibilité des données — dossiers médicaux, données RH, secrets industriels : la question n’est plus le coût.
- Latence exigée — un traitement par lots nocturne tolère tout ; une saisie assistée en temps réel non.
- Disponibilité attendue — une machine unique n’offre aucune redondance, et son indisponibilité est totale pendant une panne matérielle.
- Compétence d’exploitation — pilotes, supervision thermique, sauvegardes, veille de sécurité : du temps humain récurrent.
- Durée de vie utile — les modèles ouverts se renouvellent bien plus vite que le matériel ne s’amortit.
Dans la pratique, la réponse la plus fréquente est hybride. Un petit modèle quantifié tournant en interne suffit largement aux tâches de classification, d’extraction de champs, de détection de doublons ou d’anonymisation — des travaux répétitifs, à fort volume et à faible exigence de créativité, dans la même veine que ce que la reconnaissance d’images a industrialisé avant lui. Les tâches ouvertes — rédaction longue, synthèse complexe, code — restent avantageusement servies par une API, éventuellement après un passage local qui retire les identifiants du texte envoyé.
Un conseil pour finir : commencer par instrumenter. Compter pendant un mois les jetons réellement consommés, par usage et par service, évite de dimensionner un serveur sur une intuition. C’est le chiffre qui décide, pas la conviction.