TNG Technology Consulting a introduit DeepSeek-TNG R1T2 Chimera, un modèle de pointe « Assembly-of-Experts » (AoE) qui allie vitesse et intelligence grâce à des techniques innovantes d’intégration de modèles. Cette nouvelle version intègre des éléments de trois modèles parents efficaces : R1-0528, R1 et V3-0324, pour améliorer la performance des grands modèles de langage (LLM). DeepSeek R1T2 se révèle extrêmement efficace, dépassant ses prédécesseurs avec une augmentation de 200% en vitesse par rapport au R1-0528 et une amélioration notable de 20% de performance par rapport à l’original R1.
Les processus LLM traditionnels, connus pour leurs exigences de ressources lors de l’entraînement et du réglage fin, ont été réinventés par l’approche AoE de TNG. En fusionnant les tenseurs de poids au niveau de base des grands modèles Mixte-d’Experts (MoE), TNG économise des ressources computationnelles, créant des modèles évolutifs et performants sans nécessiter de réentraînement. L’architecture de R1T2 met en valeur un mélange stratégique de différents tenseurs d’experts, optimisant la performance tout en préservant la qualité du raisonnement et une tokenisation efficace des sorties—des caractéristiques essentielles pour les applications d’IA modernes.
Les tests de référence révèlent que R1T2 non seulement accélère la performance mais maintient également une haute qualité de raisonnement, bien qu’il accuse un léger retard en intelligence brute comparé au R1-0528. Cependant, il excelle dans des tests de référence détaillés tels que GPQA Diamond et AIME-2024/2025, surpassant largement le R1. Le design intelligent du modèle inclut des cohérences comportementales cruciales pour les applications nécessitant des séquences de raisonnement méthodiques.
La disponibilité publique de R1T2 sous la licence MIT sur Hugging Face en fait un outil accessible pour les développeurs, soutenant des efforts communautaires de réglage fin et d’adaptation. Son impact réel se traduit par une efficacité significative dans des environnements exigeant une fonctionnalité IA rapide, et TNG rapporte déjà le traitement quotidien de près de 5 milliards de tokens via ce modèle grâce à leur plateforme sans serveur Chutes.
En regardant vers l’avenir, le développement de R1T2 prépare le terrain pour de futures expérimentations dans l’interpolation de l’espace des paramètres et la construction modulaire de LLM, transformant potentiellement l’évolutivité et l’adaptabilité des modèles d’IA. Sa sortie en open-source garantit une adaptabilité large, encourageant l’innovation et le développement continu des technologies IA. À mesure que l’intérêt pour des modèles d’IA plus efficaces, ouverts et personnalisables croît, l’architecture et la performance de R1T2 sont susceptibles d’inspirer de nouvelles avancées dans le domaine.
