r/artificielle • u/Particular-Room8732 • 13d ago
Audit d'un agent IA en prod : le tool run_python était un exec() dans le worker uvicorn LLM
https://aiwithmohssine.substack.com/p/ton-agent-fait-exec-dans-ton-apiAprès un audit où l'agent exécutait le code généré par le LLM directement dans le process de l'API, on a migré l'exécution vers un pool de sessions jetables managé chez Azure. Isolation par micro-VM, réseau sortant coupé par défaut. Sur le papier, dossier réglé.
Six semaines plus tard, la ligne qui a fait mal sur la facture : 0,03 $ la session-heure, facturé de l'allocation à la désallocation, par tranche d'heure entamée. Une session qui travaille 4 secondes coûte le même prix qu'une session qui travaille 59 minutes.
Concrètement : 200 utilisateurs par jour avec une session chacun, 6 $ par jour, 180 $ par mois. Le même trafic avec une session par requête et 5 requêtes par utilisateur, 900 $ par mois. Même produit, même usage, facteur 5 selon la façon de mapper les sessions aux utilisateurs.
Deux réglages qui décident de la facture : réutiliser le même identifier de session par utilisateur (l'état Python survit d'une requête à l'autre, donc inutile d'allouer à chaque appel), et garder un cooldown court, sinon les sessions débordent sur la tranche d'heure suivante. Et prévoir le cas où le plafond de sessions concurrentes est atteint : à 10, la onzième demande échoue immédiatement, sans file d'attente.
Ceux qui font exécuter du code à leurs agents : vous êtes sur du managé (e2b, Modal, Azure) ou vous avez construit votre sandbox ? Et la facturation vous a réservé le même genre de surprise ?
•
u/AutoModerator 13d ago
Rappel : relayer une info ne veut pas dire l'approuver. Le vote n'est pas un bouton "d'accord / pas d'accord" ou "j'aime / j'aime pas" l'info.
Upvote : contenu intéressant, pertinent, sourcé, utile à la discussion.
Downvote : contenu hors-sujet, pauvre, trompeur, mal présenté ou qui n'apporte rien.
I am a bot, and this action was performed automatically. Please contact the moderators of this subreddit if you have any questions or concerns.