Сбер открыл веса GigaChat 3.5 Ultra
6 июля Сбер выложил на Hugging Face новую флагманскую модель GigaChat 3.5 Ultra с открытыми весами. По-человечески это значит, что файлы с «мозгами» модели можно скачать, поставить на своё железо и работать без интернета, то есть без риска утечки данных.
Лицензия MIT, то есть разрешено даже коммерческое использование. Запросы и документы при этом не уходят ни в чьё облако.
Сразу объясню, почему я решила опубликовать эту новость в канале.
С одной стороны, Сбер открывает веса не впервые: предыдущий флагман на 702 миллиарда параметров тоже лежит в открытом доступе, просто та новость прошла тише.
С другой стороны, новая модель почти в два раза компактнее и заметно шустрее на длинных документах.
Что касается уровня, то тут, как в былинных статусах во ВКонтакте, все сложно. Сильнейшие открытые модели сейчас китайские: DeepSeek, Qwen и компания (западные лаборатории свои флагманы держат закрытыми, хотя Open AI некоторое время назад с этим решили побаловаться).
По замерам самого Сбера GigaChat 3.5 примерно на уровне облегчённых версий DeepSeek. Замеры, напомню, собственные, независимых тестов подождём.
Рекордов в данном плане нет, но впрочем, для её реальной работы рекорды и не нужны.
Потому что у китайских моделей для наших задач свои болячки.
Сам факт зарубежной разработки, несмотря на то, что модель ЛОКАЛЬНАЯ (то есть данные, еще раз, никуда не утекают), порой для очень строгих служб безопасности в банке, клинике или госструктуре — это часто стоп ещё до всяких тестов.
Хотя казалось бы.
А тут своя модель, которая живёт на вашем сервере, обучена на русском и никуда ничего не передаёт. Для компаний с чувствительными данными — это вариант, который можно нести безопасникам без валерьянки.
Что, ИМХО, по-настоящему важно в этом релизе, так это то, что отдельно Сбер докрутил агентные сценарии: модель стала лучше работать с инструментами.
Теперь немного про железо. Ultra это 432 миллиарда параметров. Для запуска нужен сервер, памяти видеокарт потребуются сотни гигабайт. Игровой ноутбук тут не помощник. Дома реально крутить младшие модели линейки, они скромнее по уму, зато запускаются на обычной технике.
Локальные модели в клубе всплывают регулярно: и железо под них обсуждали, и Ollama, кто-то уже гоняет своих помощников локально.
Скажите: вам отечественная модель у себя вообще актуальна? И если да, то для себя или для компании?)
https://t.me/gruboprostiite