Beyond Scaling Law: A Data-Efficient Distillation Framework for Reasoning

За пределами закона масштабирования: Эффективная по данным структура дистилляции для рассуждений В данной статье представлена эффективная по данным структура дистилляции (DED) для улучшения способностей к рассуждению в больших языковых моделях (LLM). Целью структуры является оптимизация границы Парето дистилляции рассуждений путем устранения ограничений существующих методов, которые опираются на большие наборы данных и вычислительные затраты. Подход включает в себя три ключевых нововведения: стратегию выбора оптимальной модели-учителя, метод отбора меньшего набора данных для балансировки производительности внутри и вне домена, а также генерацию разнообразных траекторий рассуждений для повышения устойчивости модели-ученика. Предлагаемая структура DED достигает самых современных результатов по математическому рассуждению и тестам генерации кода, используя только небольшой, тщательно отобранный набор данных. Результаты демонстрируют способность метода превосходить существующие методы, рассматривая факторы, выходящие за рамки поверхностной сложности, длины токенов или возможностей модели-учителя. Исследование предлагает практический способ улучшения навыков рассуждения LLM без обширного масштабирования. Он предлагает эффективный подход к продвинутому мышлению, сохраняя при этом общие возможности модели. Это позволяет исследователям расширять границы рассуждений с ограниченным количеством примеров. #LLM #Рассуждение #Дистилляция #ЭффективностьДанных #ИИ #МашинноеОбучение #NLP документ - подписаться - отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM