Une plateforme IA à la demande, 100 % open source : du GPU local au cloud souverain

Vous voulez déployer de l'IA générative pour vos équipes, et chaque option coince. Le tout-cloud propriétaire est puissant, mais vos données partent chez un tiers, la facture se disperse entre dix fournisseurs et vous êtes captif de leurs API. Le tout-local est souverain et maîtrisé, mais borné par votre budget GPU et par les modèles que vous pouvez réellement faire tourner.

Et si on refusait de choisir ?

Je présente une plateforme d'IA « à la demande » qui couvre toute la chaîne, du GPU sous le bureau jusqu'aux grands clouds, avec une brique d'orchestration 100 % open source. Trois cartes RTX 6000 Pro font tourner des modèles en open weights (famille Qwen) en interne via vLLM. LiteLLM sert de passerelle unique : un seul endpoint compatible OpenAI, une simple clé d'API, et derrière, le routage vers le bon modèle selon l'usage. Open WebUI donne aux utilisateurs finaux une interface de chat auto-hébergée, pendant que les développeurs consomment exactement le même socle via l'API — ils ne voient qu'une URL et un endpoint.

La logique est en paliers : d'abord les modèles 100 % internes, puis des modèles open weights plus gros hébergés en France (Scaleway, OVH) pour la souveraineté, et enfin, seulement quand c'est nécessaire, typiquement le développement agentique, un relais vers les clouds américains. Le tout piloté au même endroit : qui a droit à quels modèles, quelle consommation, quels quotas, et une facturation simplifiée à un seul jeton par fournisseur.

Je partagerai l'architecture réelle, les choix, les pièges, et un retour d'expérience concret : 4 mois de POC et 2 mois de production au compteur au moment du talk. Vous repartirez avec un schéma reproductible pour bâtir votre propre passerelle IA souveraine et réversible, et une idée claire de là où l'open source vous rend libre, et de là où il vous donne surtout du levier sur le propriétaire.