A-Vibe лучше аналогичных моделей понимает запросы, генерирует код и поддерживает осмысленный диалог. Технология уже работает в сервисах Авито — например, помогает продавцам писать продающие описания и быстрее договариваться о сделке в мессенджере. До конца года компания планирует добавить ещё 20 новых сценариев, а в будущем может открыть код модели для всех.
"Первое место доказывает, что оптимизированная архитектура и качественные данные могут обеспечить отличные результаты даже при небольшом размере модели. A-Vibe создавалось оптимальной по соотношению между качеством, скоростью работы и затратой ресурсов. Такой баланс позволяет обеспечивать быструю обработку запросов даже в периоды пиковой нагрузки и масштабировать технологию на всю аудиторию платформы. Именно обучение небольшой модели под наши нужды позволяет нам закладывать окупаемость инвестиций: Авито планирует вложить в GenAI около 12 млрд рублей, а заработать более 21 млрд рублей к 2028 году", — отметил Андрей Рыбинцев, старший директор по данным и аналитике Авито.
Результаты A-Vibe
A-Vibe обошла такие модели, как GPT-4o mini, Gemma 3 27B, Claude 3.5 Haiku, Mistral Large и другие популярные небольшие нейросети. Тестирование включало задачи различной сложности — от базового понимания текста до продвинутых лингвистических задач, требующих глубокой работы с контекстом.
Некоторые результаты тестирования MERA:
- Генерация кода: на 25% лучше Gemini 1.5 с 8 миллиардами параметров
- Ведение диалога: на 32% точнее Llama 3.1 с 405 миллиардами параметров
- Способность анализировать смысл текста: на 23% точнее Claude 3.5 Haiku
Технические особенности A-Vibe
Команда Авито разработала собственные генеративные модели A-Vibe и A-Vision, использовав для обучения на начальном этапе открытую модель. Однако она имела ограничения в работе с русским языком:
- Модель обучалась на данных более чем 100 языков, при этом русский составлял менее 1% общего объема данных.
- Из-за этого модель плохо понимала и генерировала текст на русском.
Разработчики модифицировали и провели "русификацию" модели, заменив стандартный токенизатор на собственный, который умеет работать с русским языком. Это дало два ключевых преимущества:
- Ускорение работы: модель обрабатывает русский текст быстрее до двух раз по сравнению с оригинальной моделью,
- Повышение качества: понимание и генерация текста на русском становятся значительно лучше.
Благодаря этим изменениям A-Vibe стала лучшей в своем классе моделью для работы с русскоязычным контентом согласно независимым тестам MERA. При этом A-Vibe может одновременно обрабатывать до 32 тысяч текстовых фрагментов (токенов) — это позволяет ей эффективно работать с объемными текстами.
"Мы рассматриваем возможность выпуска модели в открытый доступ, что станет нашим вкладом в развитие российского рынка ИИ. Это поможет малому бизнесу внедрять передовые технологии без значительных инвестиций, образовательным учреждениям создавать прикладные программы, а независимым разработчикам строить современные сервисы на базе отечественных технологий. Для нас это возможность получить ценную обратную связь от рынка и улучшить наши модели", — комментирует Анастасия Рысьмятова, руководитель разработки больших языковых моделей "Авито".
Бенчмарк MERA — это российский стандарт оценки языковых моделей, разработанный научным сообществом. В рамках замера тестируют понимание русского языка и культурного контекста. Проект поддерживает Альянс ИИ, ведущие индустриальные игроки и академические партнеры, которые занимаются исследованием языковых моделей.
1) Чтобы попасть в рейтинг, в фильтре "Размер модели" выберите "≥5B — 10B". Это значит, что в рейтинг попадут модели размером от 5 до 10 миллиардов параметров.
2) Цифры HUMAN BENCHMARK — это реальные результаты людей. Языковые модели приближаются к этим значениям, но окончательно превзойти человека ещё не смогли