Токенизация данных: зачем и как

29 августа в 12:00 по МСК Владимир Крылов, доктор технических наук и научный консультант по применению ИИ в разработке ПО, расскажет о важной ступени конвейера обработки данных в генеративных предобученных трансформерных моделях – преобразования последовательности входных данных в последовательность токенов. Вы узнаете: - что такое токены; - как работает токенизатор; - почему входной поток данных трансформера перед эмбеддингом представляют токенами, а не символами или словами; - как конструируются токены в больших мультимодальных моделях, работающих с изображениями и аудиопотоками.