Faire tourner une IA en local sur GPU : guide 2026

L’illustration à la une est générée par IA et montre un matériel générique. Les deux photographies de cartes dans l’article représentent des produits réels ; leurs crédits figurent sous chaque image.

Vous voulez résumer des documents, rédiger ou travailler sur du code sans envoyer chaque requête à un service distant ? Un PC peut suffire. Mais acheter une carte graphique avant de choisir son modèle, c’est un peu acheter le garage avant la voiture.

Ce guide porte sur l’inférence de modèles de langage, c’est-à-dire leur utilisation, pas leur entraînement. Les repères mémoire ne se transposent pas automatiquement à la génération d’images ou de vidéos. Les caractéristiques des cartes sont celles des modèles de référence ; ce comparatif n’est pas un relevé des prix du marché.

Le local offre du contrôle : vous choisissez les poids du modèle, leur version et les réglages. Une fois le logiciel et le modèle installés, certaines fonctions peuvent fonctionner sans connexion. Vous pouvez aussi éviter la facturation au token d’une API, à condition d’utiliser des logiciels et des modèles dont la licence le permet.

Il reste des coûts : achat éventuel du matériel, électricité, entretien et temps de configuration. Et « installé sur mon PC » ne signifie pas « tout reste sur mon PC ». Un modèle distant, une recherche web ou un connecteur peuvent transmettre des données. Vérifiez les fonctions actives avant d’y déposer des documents confidentiels.

La quantification représente les poids avec moins de bits. En théorie, quatre bits par paramètre occupent environ deux fois moins d’espace que huit bits. En pratique, les formats ajoutent des métadonnées et ne quantifient pas toujours tous les paramètres de la même manière. L’impact sur la qualité dépend du modèle et de la tâche : testez vos propres exemples.

Ne confondez pas la taille du fichier avec la VRAM totale nécessaire. Le cache de contexte augmente avec la longueur des échanges et le nombre de requêtes simultanées. Une marge fixe de quelques gigaoctets ne garantit donc pas qu’un modèle tiendra avec un long contexte.

Exemple concret : les fragments publiés par Qwen pour Qwen2.5-32B-Instruct totalisent environ 19,85 Go en Q4_K_M et 34,82 Go en Q8_0. Ce sont les tailles des fichiers, avant cache de contexte et mémoire de travail. Cet exemple documenté ne constitue pas un classement des modèles de 2026. Le nombre de paramètres actifs d’un modèle à mélange d’experts ne suffit pas non plus à calculer sa mémoire totale.

RTX 3090 Founders Edition. Photo : Adam Kapetanakis, Wikimedia Commons, fichier « RTX 3090 Founders Edition.jpg ». Licence CC BY-SA 4.0 : https://creativecommons.org/licenses/by-sa/4.0/ . Version redimensionnée par Wikimedia et convertie en WebP, sans retouche IA ; photographie conservée sous la même licence.

Les valeurs suivantes sont des spécifications de référence, pas des mesures de vitesse d’un modèle de langage. La puissance annoncée pour une carte n’est ni celle de tout le PC ni une consommation constante. Les modèles de fabricants partenaires peuvent avoir d’autres dimensions ou réglages.

Une RTX 3090 d’occasion peut être intéressante pour ses 24 Go, si son prix et son état le justifient. Ce n’est pas automatiquement le meilleur achat. Une RTX 5090 apporte 32 Go sur une seule carte, mais cette capacité supplémentaire ne justifie pas n’importe quel surcoût pour un usage occasionnel.

Aucun tarif actuel vérifié n’est retenu ici. Demandez une facture, la référence exacte et un test en charge. Contrôlez le boîtier, les connecteurs d’alimentation, le refroidissement et le bruit. En France, une carte d’occasion vendue par un professionnel à un consommateur bénéficie de la garantie légale de conformité : « occasion » ne veut pas dire « sans garantie ». Les règles diffèrent pour une vente entre particuliers. Source : Service-Public, garantie légale de conformité.

La documentation d’Ollama cite explicitement la RX 7900 XTX parmi les cartes prises en charge sous Linux et Windows. Consultez tout de même les pilotes et versions requis pour votre système. Un retour d’expérience isolé ne permet pas de déconseiller toutes les installations AMD ; la compatibilité d’un outil ne garantit pas non plus celle de toutes les applications. Source : Ollama, Hardware support.

Sapphire AMD Radeon RX 7900 XTX. Photo : Geni, Wikimedia Commons, fichier « Sapphire AMD Radeon RX 7900 XTX.jpg ». Licence CC BY-SA 4.0 : https://creativecommons.org/licenses/by-sa/4.0/ . Version redimensionnée par Wikimedia et convertie en WebP, sans retouche IA ; photographie conservée sous la même licence.

La fiche officielle de la GeForce RTX 5090 indique 32 Go. TweakTown rapporte les affirmations d’un réparateur au sujet de versions modifiées à 64 et 96 Go, en précisant l’absence de photos, de benchmarks et de preuve de fonctionnement. Ces cartes modifiées ne font pas partie de l’offre officielle NVIDIA.

Si vous avez besoin de plus de 32 Go, comparez des solutions documentées : plusieurs GPU pris en charge par votre moteur, carte professionnelle à grande mémoire ou serveur distant. Le multi-GPU n’est pas la seule voie.

Certains moteurs, dont llama.cpp, peuvent répartir le modèle entre plusieurs GPU. Une RTX 5090 de 32 Go et une RTX 5080 de 16 Go totalisent ainsi 48 Go de mémoire physique. Cela ne crée pas automatiquement une carte unique de 48 Go : la répartition, les buffers et les échanges dépendent du logiciel.

• Vérifiez que le moteur et sa compilation prennent en charge vos deux cartes, puis testez le mode de répartition.
• Contrôlez les lignes PCIe disponibles, l’espacement des ports et l’épaisseur réelle des cartes.
• Dimensionnez l’alimentation pour tout le système. Les 1 000 W recommandés pour une configuration mono-5090 ne valident pas un montage à deux GPU.
• Prévoyez l’évacuation de la chaleur et mesurez le bruit en charge.
• Choisissez la RAM système selon le chargement, les éventuels traitements CPU et les autres logiciels. 32 ou 64 Go ne constituent pas une règle universelle.

Deux RTX 3090 totalisent 48 Go. Un 70B en Q4 peut entrer dans certaines configurations, mais son contexte utilisable doit être mesuré. Deux cartes ne garantissent ni deux fois la vitesse ni la même souplesse qu’un GPU doté d’une grande mémoire unique.

Cinq milliards de tokens par mois ne suffisent pas à dimensionner un serveur. Il faut distinguer les tokens d’entrée et de sortie, le modèle, la quantification, la longueur des requêtes, les pointes de trafic, le nombre d’utilisateurs simultanés et le délai de réponse attendu.

Avant d’acheter huit H200, faites mesurer la charge et demandez des devis. Comparez l’achat et l’amortissement du serveur, l’énergie, le refroidissement, l’hébergement, la maintenance et le personnel avec une location ou une API. Une utilisation régulière peut favoriser l’achat ; une charge variable peut favoriser la location. Sans mesures et sans prix vérifiés, aucun verdict de rentabilité n’est sérieux.

Un nom de famille ne suffit pas. Prenez une référence précise, sa taille, sa quantification et sa licence. Comparez les réponses sur vos documents, votre langue et vos tâches. Un bon score général ne prouve pas qu’un modèle sera le plus utile pour vos résumés ou votre code.

Pour analyser des journaux de sécurité ou du code dans un cadre autorisé, pensez aussi au contexte : un modèle de 27 à 32B laissant de la mémoire libre peut être plus pratique qu’un 70B chargé à la limite. Anonymisez les secrets, vérifiez les conclusions et ne donnez pas à un agent des droits d’exécution dont il n’a pas besoin.

1. Installez le logiciel depuis sa source officielle et vérifiez la compatibilité GPU et les pilotes.
2. Choisissez un petit modèle quantifié avec une licence adaptée à votre usage.
3. Téléchargez-le, puis démarrez une conversation avec un contexte raisonnable.
4. Observez la mémoire utilisée, la vitesse et la qualité sur quelques tâches représentatives.
5. Si le hors-ligne est nécessaire, testez le fonctionnement réseau coupé après téléchargement et contrôlez les fonctions connectées.

Si la mémoire sature, réduisez d’abord le contexte, fermez les applications gourmandes en VRAM et essayez une quantification plus compacte ou un modèle plus petit. Le déport partiel vers le CPU peut aider à charger un modèle, mais le résultat dépend fortement du matériel et du moteur.

Mesurez séparément le temps avant le premier token et la vitesse de génération. Un GPU peut accélérer la lecture d’un long document sans changer autant le débit des réponses courtes. Gardez les mêmes prompts et réglages pour comparer les essais.

Commencez par une tâche et un modèle qui y répond correctement. Vérifiez ensuite la mémoire réellement utilisée, puis achetez le matériel qui manque. Pour de petits modèles, votre PC actuel suffit peut-être. Pour des modèles plus gros, la VRAM compte beaucoup, mais la garantie, l’alimentation et le logiciel font partie du même achat.

Sources consultées le 3 novembre 2026. Les caractéristiques des GPU proviennent des fabricants. Les repères mémoire varient selon le modèle et la longueur du contexte.

• NVIDIA : fiches GeForce RTX 3090, RTX 4090, RTX 5080 et RTX 5090, et livre blanc NVIDIA Ampere GA102 GPU Architecture. Capacité mémoire, bande passante et puissance de référence. Domaine : nvidia.com.
• AMD : fiche Radeon RX 7900 XTX. Mémoire, bande passante physique et puissance typique de la carte. Domaine : amd.com.
• Qwen : dépôt officiel Qwen/Qwen2.5-32B-Instruct-GGUF, fichiers Q4_K_M et Q8_0. Somme des tailles des fragments, sans téléchargement des poids. Domaine : huggingface.co.
• NVIDIA Developer : Mastering LLM Techniques: Inference Optimization. Phases d’inférence, mémoire et cache KV. Domaine : developer.nvidia.com.
• llama.cpp : documentation des outils cli et quantize, dépôt ggml-org/llama.cpp. Quantification et répartition multi-GPU. Domaine : github.com.
• Ollama : Hardware support et FAQ. Cartes prises en charge, contexte, répartition CPU/GPU et fonctions cloud. Domaine : docs.ollama.com.
• LM Studio : Offline Operation et politique de confidentialité de l’application. Opérations locales et opérations réseau. Domaine : lmstudio.ai.
• Service-Public : Achat d’un produit : garantie légale de conformité, fiche F11094. Domaine : service-public.gouv.fr.
• TweakTown : RTX 5090 with 64GB and 96GB VRAM « confirmed » by US GPU repair tech. Article explicitant l’absence de preuve des affirmations rapportées. Domaine : tweaktown.com.
• Photographies : Wikimedia Commons, fichiers RTX 3090 Founders Edition.jpg (Adam Kapetanakis) et Sapphire AMD Radeon RX 7900 XTX.jpg (Geni), licence CC BY-SA 4.0. Domaine : commons.wikimedia.org.