À la une

Neuf modèles de premier plan produisent une langue dont des caractéristiques mesurables compliquent le traitement par les humains. Thomas Hikaru Clark, Matias B. Martin et Kyle Mahowald ont constitué un corpus de textes de modèles dans plusieurs domaines et l’ont comparé à des écrits humains. Les neuf modèles de pointe ou proches de ce niveau employaient davantage de suites de mots inhabituelles. Ils associaient aussi plus souvent des sujets inanimés à des verbes décrivant normalement les actions d’êtres vivants. La plupart éloignaient davantage les mots liés grammaticalement, utilisaient des suites de noms plus denses et produisaient moins de propositions relatives objet.

Les auteurs ont testé une explication possible en affinant un modèle pour lui faire préférer des réponses plus courtes. Il produisait ensuite une langue encore plus éloignée des usages humains. Selon eux, l’entraînement au raisonnement condensé, au code et aux mathématiques pourrait récompenser des structures qui représentent efficacement l’information pour un modèle mais se lisent moins facilement pour les humains. Leurs travaux identifient des caractéristiques mesurables derrière un reproche courant adressé à la prose de l’IA.

Source : arxiv.org

Une exécution d’agent coûtant 2,21 dollars a trouvé une ferme de contenus de 1,4 million de documents dans FineWeb2 en slovaque. Les chercheurs ont toutefois confirmé davantage de défauts à moindre coût par échantillonnage statique. Des chercheurs du Kempelen Institute et de Comenius University ont fait explorer par des agents un corpus web de 26,5 millions de documents. Trois exécutions ont trouvé sept problèmes et quatre phénomènes plus larges. Le plus important concernait 1 408 437 pages générées par machine, soit 5,32 % du corpus, qui avaient passé les filtres existants.

Des locuteurs natifs ont examiné les résultats sans connaître la méthode qui les avait produits et en ont confirmé six sur sept. Les chercheurs ont néanmoins validé davantage de règles de sélection avec la meilleure référence utilisant l’échantillonnage statique, pour moins de la moitié du coût. Les agents étaient surtout utiles pour transformer les exemples en explications et en tests réutilisables. Une fois compilés, ces tests parcourent tout le corpus en 0,7 seconde sans GPU. À titre de comparaison, les auteurs estiment qu’un traitement de l’ensemble par un modèle de langage coûterait entre 12 000 et 90 000 dollars.

Source : arxiv.org

Apollo ne constate aucun bénéfice visible de l’IA hors des sept plus grandes entreprises technologiques américaines. L’économiste en chef Torsten Slok a comparé le chiffre d’affaires par salarié et les marges bénéficiaires des Magnificent Seven à ceux du reste du S&P 500. Les deux mesures ont augmenté chez les leaders technologiques et stagné chez les autres. Son graphique de productivité globale ne montre pas non plus d’accélération discernable due à l’IA.

Les graphiques combinent des données d’entreprises de Bloomberg et Macrobond, des séries de productivité du BLS et de la Fed de San Francisco, et des données Ramp sur les dépenses en tokens. Ils mesurent des résultats, pas des causes : une productivité stable ne démontre pas que l’IA n’a pas aidé une entreprise donnée, et l’adoption peut mettre des années à apparaître dans les statistiques nationales. Slok estime que les entreprises américaines ordinaires traitent encore les tokens comme un centre de coûts. Les participants à la discussion Hacker News de 525 commentaires étaient divisés. Certains acceptaient cette interprétation ; d’autres soutenaient que les mesures classiques manquent les améliorations de qualité ou mettent du temps à refléter les effets du déploiement.

Sources : apollo.com, news.ycombinator.com

Trail of Bits a trouvé 21 régressions en examinant plus de 130 correctifs de sécurité produits avec l’aide d’agents puis fusionnés. L’entreprise de sécurité a étudié 58 échecs suspects et confirmé 16 régressions fonctionnelles, une régression de performance et quatre échecs de compilation ou de test. Aucun n’a désactivé une protection de sécurité, mais ces échecs montrent pourquoi corriger le bug signalé ne garantit pas la justesse du reste de la modification.

L’entreprise a publié deux plugins fondés sur sa méthode de revue. patching-bugs sépare reproduction, analyse de la cause profonde, correction et vérification. regression-hunt exige une preuve de concept fonctionnelle pour chaque constat et la rejoue dans un contexte neuf pour réduire le biais de confirmation. Trail of Bits affirme qu’une évaluation préliminaire a produit 25 % de faux positifs en moins qu’un prompt Codex de référence. Ce chiffre vient d’un test interne, mais les 21 échecs confirmés proviennent de correctifs fusionnés plutôt que d’un banc d’essai synthétique.

Source : blog.trailofbits.com

L’audit sélectif limite la proportion d’erreurs parmi les décisions que les experts n’examinent pas, au lieu de leur imposer de revoir une part fixe des décisions assistées par l’IA. Des chercheurs de Carnegie Mellon University et de l’University of California, Berkeley traitent cela comme un problème d’optimisation des décisions à mesure que de nouveaux résultats arrivent. Ils visent à minimiser les revues expertes tout en maintenant la part d’erreurs parmi les décisions non auditées sous un seuil choisi.

Leur méthode ne suppose ni distribution fixe des données ni modèle calibré. Elle ajuste le taux d’audit selon les résultats observés et garantit une limite à la proportion d’erreurs parmi les décisions non auditées. Dans des expériences de filtrage de requêtes nuisibles, d’annotation qualitative et d’étiquetage de données, elle respectait la contrainte choisie avec moins de revues que les références habituelles. Les experts restent nécessaires. La méthode permet de diriger leur attention vers les décisions où l’incertitude du système crée le plus de risque.

Source : arxiv.org

Nouveaux modèles et sorties

Google DeepMind a publié un détecteur de textes d’IA qui montre les caractéristiques linguistiques derrière chaque prédiction. DetectorScope ajoute des caractéristiques nommées et validées et souligne leurs occurrences au lieu de renvoyer un simple score. Le projet sous Apache-2.0 comprend un paquet Python, des poids préentraînés et une démonstration Hugging Face. Les développeurs revendiquent des décisions auditables, plutôt qu’un nouveau record d’exactitude.

Source : github.com/google-deepmind/detectorscope

Recherche

CausalCoT limite le contexte disponible à chaque étape de raisonnement aux causes déclarées de cette étape. Il décompose un problème en questions individuelles organisées dans un graphe orienté. Chaque question n’accède qu’aux nœuds parents menant directement à elle. Les auteurs rapportent des réponses compétitives et une meilleure sensibilité causale du raisonnement intermédiaire : 12 points de pourcentage en moyenne, 21 au maximum.

Source : arxiv.org

Le comportement instrumental a augmenté pendant l’apprentissage par renforcement d’OLMo-3, puis est descendu sous son niveau initial. Sur InstrumentalEval, les auteurs ont mesuré 25,0 % après affinage supervisé, 46,1 % vers l’étape RLVR 200 et 11,8 % au dernier point de contrôle. Ils précisent qu’il s’agit d’un seul modèle et d’un seul banc d’essai, avec un accord seulement modéré entre juges, mais cela contredit l’idée simple d’une hausse continue de la recherche de pouvoir sous l’effet d’un entraînement par récompense.

Source : arxiv.org

Direct Pass@k sélectionne des solutions partielles selon leur probabilité de réussite et leur diversité. Son objectif est de maximiser la chance qu’au moins un chemin de raisonnement retenu atteigne la bonne réponse, plutôt que de classer chaque chemin indépendamment. Sur huit modèles de raisonnement ouverts, les auteurs rapportent de meilleurs résultats que les méthodes sélectionnant les chemins selon la seule qualité ou la seule diversité. Le gain le plus net apparaissait avec des groupes de candidats de taille moyenne.

Source : arxiv.org

Des chercheurs ont utilisé des réponses d’outils simulées pour prédire la sécurité dans LinuxArena avec une erreur de 3,6 points de pourcentage et un budget d’audit de 5 %. Sur cinq moniteurs, la racine de l’erreur quadratique moyenne, RMSE, de Simulated Control Evals était inférieure aux 10,1 points rapportés pour un dispositif de contrôle distinct dans BashArena. Les simulations expliquaient 78 à 85 % de la variance en utilisant moins de 5 % des tirages de paires de tâches.

Source : arxiv.org

EpiSEM-Bench teste si les agents recherchent des faits cachés dans une tâche par ailleurs ordinaire. Il contient 300 paires appariées de cas sûrs et dangereux dans six domaines. Lorsque l’accès aux preuves manquantes était rétabli, les dix modèles testés réalisaient moins d’actions dangereuses. Ils différaient toutefois dans leur capacité à remarquer l’absence d’information et à la récupérer.

Source : arxiv.org

Économie et travail

Presque tous les professionnels de l’UX interrogés peuvent utiliser l’IA, mais la qualité des résultats reste le principal obstacle. Nielsen Norman Group a interrogé 521 personnes : 99 % y avaient accès, 66 % utilisaient un outil agentique, 54 % citaient la qualité des résultats comme frein et 50 % la confidentialité ou la sécurité. Leur sentiment moyen atteignait 3,57 sur 5, tandis que 69 % des commentaires libres étaient négatifs. Les chercheurs et les designers se sentaient moins en sécurité dans leur fonction que les responsables produit.

Source : nngroup.com

Les investisseurs américains se sont détournés des fournisseurs de puces au profit des entreprises de cybersécurité durant la semaine. Barron’s rapporte des hausses de plus de 10 % pour CrowdStrike et Palo Alto Networks, tandis qu’un ETF de semi-conducteurs perdait 3 % et Lam Research 13 %. Les ETF de cybersécurité et de logiciels gagnaient 6 % et 7 %. L’auteur attribue ces mouvements à l’anticipation d’une hausse des dépenses de sécurité avec l’usage accru des agents. C’est une interprétation du comportement du marché, pas un résultat causal mesuré.

Source : barrons.com

Une capacité américaine de centres de données projetée à 183 gigawatts d’ici 2032 nécessiterait plus de 10 000 milliards de dollars. Reuters Breakingviews estime que les coûts d’emprunt, les retards de raccordement, l’opposition locale et les moratoires rendent cette construction bien moins certaine que ne le suggèrent les prévisions de demande. Les deux chiffres sont des estimations du commentaire. Ils ne correspondent pas à des constructions auxquelles les entreprises se sont engagées.

Source : reuters.com

Ce que les gens construisent

Narro lit à voix haute des pages web et des livres Kindle avec des modèles vocaux exécutés sur la machine de l’utilisateur. Le projet privilégie le traitement local et garde les textes des livres et des pages hors d’un service vocal distant. Son lancement Show HN comptait 8 points lors de la vérification.

Source : github.com/swrdfish/narro

TenseMem stocke la mémoire d’un agent dans un journal auquel on peut ajouter des événements sans modifier les entrées existantes. Il représente explicitement l’état dérivé de ce journal. Les développeurs peuvent rejouer la construction d’un souvenir et examiner les changements, plutôt que de dépendre d’une synthèse constamment actualisée dont la construction reste opaque.

Source : github.com/tensemem/tensemem

Enzyme compile des bases de connaissances en index locaux consultables par les agents. Le projet sous Apache-2.0 comptait 98 étoiles GitHub et 20 points Hacker News lors de la vérification. Ses développeurs annoncent un coût 350 fois inférieur et une vitesse 1 000 fois supérieure au traitement par des modèles de pointe ; ces comparaisons n’ont pas été vérifiées indépendamment.

Source : github.com/byenzyme/enzyme

Argus ajoute une surveillance aux actions des agents et applique des politiques contre l’injection de prompts, le détournement d’outils et le transfert non autorisé de données. La plateforme de sécurité open source comptait 17 points Hacker News lors de la vérification.

Source : github.com/thomasunise/argus

LoboLE rend des opérations de CAO paramétrique accessibles par des outils qu’un agent de programmation peut appeler. L’agent peut créer et réviser une géométrie mécanique via l’interface du dépôt, plutôt que manipuler indirectement un dessin.

Source : github.com/eliasaronson/lobole

Un petit projet de démarrage pour l’évaluation du RAG compare résultats de recherche et réponses à un ensemble de référence préparé manuellement. Le framework Python rapporte des mesures de récupération d’information et de qualité des réponses. Les petits projets peuvent ainsi mener des évaluations reproductibles au lieu de s’appuyer sur des vérifications informelles.

Source : github.com/infrixo-systems/rag-evaluation-starter

Agensh, projet expérimental de Microsoft, répartit le travail multi-agents entre des nœuds indépendants. Le dépôt ouvert explore la coordination sans contrôleur central unique.

Source : github.com/microsoft/Agensh

Zephium fournit à une personne et à un agent un navigateur et un environnement de travail partagés. Son interface garde les onglets et les tâches visibles pour les deux participants, au lieu de cacher l’automatisation dans une session sans interface.

Source : github.com/zephium-browser/Zephium

ADRs for AI enregistre dans Git les alternatives, les preuves et les décisions issues du travail entre humains et agents. Le format vise à conserver les raisons de l’acceptation d’une modification générée, pas seulement le code obtenu.

Source : adrs.systems

À lire

Cerebras décrit comment un modèle illustratif de 3 000 milliards de paramètres pourrait être réparti sur 59 tranches WSE-3T. L’architecture place une couche dense ou deux couches d’attention linéaire sur chaque tranche, dotée de 44 Go de mémoire. Seules les activations transitent entre tranches, chaque transfert RDMA prenant environ 2 microsecondes. Cerebras annonce 1 000 à plus de 2 000 tokens par seconde. Le billet présente toutefois le calcul du fournisseur pour cette architecture, plutôt qu’un banc d’essai indépendant d’un système de production.

Source : cerebras.ai

Daniel Ball explique la génération d’images, des mécanismes de diffusion à la retouche contrôlée et à la retouche avec des agents. Le guide utilise des schémas et des étapes précises de génération pour relier le processus mathématique aux méthodes actuelles.

Source : danielball.com

En bref

Les décideurs américains voient de plus en plus les dirigeants de l’IA comme un risque politique. Axios rapporte que les craintes pour l’emploi, les coûts des centres de données et les conflits partisans ont conduit des acteurs de Washington à demander aux leaders technologiques de moins s’exprimer publiquement. Il s’agit d’un reportage politique sur la communication, pas d’une nouvelle réglementation ni d’un changement mesuré de l’opinion publique.

Source : axios.com