Un modèle de langage gagne en précision en réécrivant ses poids
Des chercheurs ont donné à un modèle ouvert de 27 milliards de paramètres accès à ses poids, à des réponses notées et à un outil de test, tout en bloquant les gradients et les optimiseurs. Le modèle a gagné 6,6 points de précision sur des problèmes tenus à l’écart et réparé une copie endommagée de lui-même, tandis que les modèles plus petits ont échoué dans les mêmes conditions.