DeepSeek Coder

2024: Анонс продукта

В середине июня 2024 года китайский стартап в области искусственного интеллекта DeepSeek анонсировал DeepSeek Coder V2 — открытую модель для программирования. Утверждается, что она превосходит по производительности такие закрытые аналоги, как GPT-4 Turbo, Claude 3 Opus и Gemini 1.5 Pro.

Первая версия DeepSeek Coder насчитывала 33 млрд параметров, поддерживала 86 языков программирования и имела контекстное окно на 16 тыс. токенов. Модель DeepSeek Coder V2 превосходит решение первого поколения по ключевым характеристикам: она использует 338 языков программирования, а размер контекстного окна увеличен до 128 тыс. токенов.

При тестировании в бенчмарках MBPP+, HumanEval и Aider, предназначенных для оценки возможностей больших языковых моделей (LLM) по генерации кода и решению проблем, DeepSeek Coder V2 набрала 76,2, 90,2 и 73,7 балла соответственно, опередив большинство других моделей, включая GPT-4 Turbo, Claude 3 Opus, Gemini 1.5 Pro, Codestral и Llama-3 70B. Высокая производительность также продемонстрирована в тестах, предназначенных для оценки математических возможностей модели (MATH и GSM8K). Единственной моделью, которой удалось превзойти DeepSeek Coder V2, оказалась GPT-4o, получившая более высокие оценки в HumanEval, LiveCode Bench, MATH и GSM8K.

Таких высоких показателей компания DeepSeek смогла добиться благодаря подходу «смесь экспертов» (Mixture of Experts, MoE), который подразумевает, что при отправке запроса запускается только часть общей модели, а не вся. Кроме того, было выполнено дополнительное обучение базовой модели DeepSeek V2 на 6 трлн токенов, включающих программный код и математические данные из GitHub и CommonCrawl. В результате, модель с 16 или 236 млрд параметров может активировать только 2,4 или 21 млрд «экспертных» параметров для эффективного решения поставленной задачи.^[1]

Примечания