Retour aux projets
IA & Automatisation
Stack IA privée — Agents LLM auto-hébergés sur Proxmox
Une infrastructure IA auto-hébergée qui fait tourner des modèles de langage et des agents en local sur un mini-serveur Proxmox, relié de façon sécurisée à une station GPU.
- 0 €
- Coût API par requête
- 100 %
- Données gardées en local
Problème
Les API IA dans le cloud coûtent cher en volume et envoient des données privées à des tiers. L’objectif : une stack d’agents IA disponible en permanence, locale et privée.
Approche
- Proxmox VE sur un mini PC ThinkCentre, avec une VM Ubuntu qui fait tourner Ollama et un modèle open source quantifié.
- L’agent appelle un modèle plus grand servi par LM Studio sur une station RTX 3080, via Tailscale.
- Cloudflare Tunnel pour un accès externe sécurisé, avec du monitoring de disponibilité et de logs.
- Passage d’une architecture multi-conteneurs à une VM mono-agent, plus simple à maintenir.
Résultats
Un backend IA privé, sans coût marginal, qui alimente des automatisations et des expérimentations. [Ajoutez des détails.]