/ 2 min de lecture
Stop reasoning blindly. How I tackle complex problems with benchmark driven development.
Stop reasoning blindly. How I tackle complex problems with benchmark driven development.
Blog
Articles
Réflexions sur les systèmes d'IA, la culture de l'ingénierie et la construction de solutions efficaces.
/ 6 min de lecture
Fable 5 contre GPT-5.6 Sol sur un probleme NP-difficile : /goal aide-t-il ?
J'ai soumis a Claude Fable 5 et GPT-5.6 Sol le meme probleme d'optimisation NP-difficile inedit, avec et sans leur mode /goal natif. Fable 5 est une bete ; /goal ne change pas la donne.
/ 8 min de lecture
GLM-5 avec des agents de codage : scores compétitifs, fiabilité faible
Le GLM-5 de Zhipu AI domine SWE-bench et LiveCodeBench. Je l'ai testé sur un problème d'optimisation NP-difficile inédit et 89 tâches de codage. Le meilleur cas est compétitif. Le cas typique ne l'est pas.
/ 24 min de lecture
J'ai forké 4 agents de codage pour exécuter le même modèle.
Plongée dans l'architecture de Codex, Gemini CLI, Mistral Vibe et OpenCode. Même modèle, écart de performance 2x — c'est le scaffolding qui compte. Mis à jour avec les résultats GLM-5 : chaque agent s'est amélioré de 38-54%, mais le classement reste le même.
/ 21 min de lecture
J'ai benchmarké 4 agents CLI sur un problème d'optimisation NP-difficile que j'avais résolu à la main il y a 8 ans.
Claude Code (Opus 4.6), Codex (GPT-5.3-Codex xhigh), Gemini CLI (Gemini-3-Pro-Preview) et Mistral (Devstral-2) s'attaquent à un problème d'optimisation de réseau fibre. Claude Code a battu ma solution C++ vieille de 8 ans de 62 points. Mis à jour avec les résultats GLM-5 sur deux frameworks d'agents et Terminal-Bench.
/ 3 min de lecture
Un runtime d'agents de codage multi-tenant en 2 000 lignes de Python
La boucle d'agent tient en ~50 lignes — le vrai travail, c'est l'isolation des utilisateurs, la persistance des sessions et les backends d'exécution. Leçons du développement d'omniagents, et comparaison avec OpenHands.
/ 10 min de lecture
Évaluez votre propre RAG : Pourquoi les meilleures pratiques nous ont fait défaut
Nous avons benchmarké notre système RAG de production sur plusieurs modèles d'embedding, tailles de chunks, stratégies de découpage et modes de recherche. Les résultats contredisent la sagesse populaire.
/ 12 min de lecture
PrediBench : un benchmark de prévision LLM en direct, impossible à contaminer
Un benchmark dont le jeu de test est dans le futur ne peut figurer dans aucun jeu d'entraînement. Les modèles analysent des événements Polymarket en direct, s'engagent sur des probabilités, et sont notés sur les rendements et la calibration de Brier. Co-construit avec Aymeric Roucher.