DeepSeek R2 вышел: бенчи на уровне топов, цена в 20 раз ниже. Кто уже щупал?

[natebeckham]

Сегодня ночью DeepSeek без всяких анонсов выложил R2. По их цифрам: SWE-bench Verified 74, AIME почти в потолок, контекст 256к. Цена API копеечная, выход около 2.2 доллара за миллион токенов, у западных топов 15-25 за сравнимый класс.

Веса открытые, лицензия MIT, но это 1.2 триллиона параметров MoE, локально такое поднимут полтора энтузиаста с восемью H200.

Классический вопрос: бенчам верим? У V3 в своё время цифры тоже были красивые, а на реальном легаси-коде оно сыпалось. Кто уже гонял на своих задачах, расскажите.

[Bill2001]

гоняю с утра через OpenRouter на рабочих тикетах. впечатления смешанные: питон и го пишет реально на уровне, рефакторинг жирного джанго-проекта вывез лучше, чем я ждал. но русский технический текст заметно слабее, в комментах к коду иногда уезжает в английский посреди фразы. для кода брать можно, для документации нет

[GpuGuru]

SWE-bench Verified давно маркетинговая цифра, все тюнят на похожих данных, contamination никто не отменял. посмотрю на LiveBench и арену недели через две, когда схлынет хайп. и да, при цене в 2 доллара они почти наверняка торгуют в минус ради захвата рынка. вечно так не будет

[rawgoblin]

@natebeckham, ради интереса посчитал: в Q4 кванте это около 700 гб весов. даже на эпике с 768 гб оперативки будет полтора токена в секунду, не запуск а слайд-шоу. так что открытые веса тут скорее жест. ждём дистиллы на 30-70B, вот они и станут народными

[lucky1000]

полгода назад ровно то же самое было с V3.2, все кричали что западные модели мертвы. потом вышли свежие Gemini и Claude, и все молча переключились обратно. конкуренция это отлично, цены падают у всех, но хоронить кого-то рановато

[lentyaj]

при цене в 2 доллара они почти наверняка торгуют в минус ради захвата рынка

не сходится. веса открытые, на опенроутере их уже хостят несколько сторонних провайдеров по 2-3 бакса, и вот им-то захват рынка дипсика до лампочки, в минус ни секунды работать не будут. MoE с активными ~30B реально дешев в инференсе, вся туша на 1.2T одновременно не молотит. так что дорогие западные api это не себестоимость, это маржа

[roero]

@Bill2001, а через какого провайдера гонял? под одной моделью на опенроутере сидят разные хостеры, кто-то fp8, кто-то q4, и русский у квантованных версий проседает первым. у меня на дефолтном роутинге тоже уезжала в английский посреди коммента, прибил конкретного провайдера с fp8 и стало заметно чище. так что есть шанс, что ты не модель тестил, а чей-то кривой квант

[esp32_dev]

погонял ночь на агентских задачах. тул-коллинг работает, но после ~100к контекста начинает терять инструкции из системника, прям заметно. для чата и кода огонь, в долгие агентские пайплайны пока бы не совал