Projets
De petits projets d'IA, chacun avec son code sur GitHub.
- the-data-cant-tell ↗ Les modèles de langage inventent-ils des causes quand les données ne disent pas pourquoi un chiffre a bougé ? Neuf questions « pourquoi ça a baissé ? » sur une entreprise de location inventée : parfois la réponse est dans les données, parfois la seule réponse honnête est « les données ne le disent pas ». Six modèles de Mistral et d'Anthropic, jusqu'à six façons de les instruire, environ 320 réponses évaluées sur quatre critères, chaque prédiction écrite avant l'essai. Sans message système, Mistral Large inventait une cause dans 8 réponses sur 10 ; une phrase a suffi pour descendre à 1. Avec les chiffres calculés par du code et donnés au modèle, Mistral Large 4 sans raisonnement a atteint 9 réponses entièrement justes sur 10, au niveau de la meilleure configuration, pour un tiers du coût et 13 fois plus vite.
- evals-kit ↗ Un petit kit d'évaluation pour applications LLM, écrit à la main. Fait passer un agent sur un jeu de référence et affiche une ligne par type de demande. Les correcteurs vérifient des mots attendus, un nombre ou une abstention. Les appels qui plantent et les mauvaises réponses ont des budgets de relance séparés, pour qu'un dépassement de délai ne compte pas comme un échec, et le taux au premier essai est donné avant le taux final. Première étape : testé pour l'instant sur un assistant scripté.
- toy-jepa ↗ Un JEPA entraîné de zéro, et quatre façons de l'empêcher de s'effondrer. Une architecture JEPA (Joint Embedding Predictive Architecture) qui apprend à partir d'images de formes en mouvement en prédisant les images suivantes dans l'espace des représentations. Quatre variantes contre l'effondrement (stop-gradient seul, EMA, EMA avec un terme de variance, EMA avec normalisation), comparées avec une sonde linéaire. L'EMA avec le terme de variance donne les meilleures représentations : 1,83 px d'erreur de sonde, contre 5,62 px pour la moyenne. Les entraînements effondrés atteignaient une perte nulle.