GPT-4 (нейросеть)

История

2024: Представлена нейросеть Pixtral Large c поисковиком, которая мощнее GPT-4

В середине ноября 2024 года французский стартап Mistral представил нейросеть Pixtral Large, способную конкурировать с GPT-4. Нейросеть на основе бесплатного чат-бота Le Chat способна генерировать изображения, проводить веб-поиск и служить интерактивным «холстом». Подробнее здесь.

2023

Запуск GPT-4 Turbo

6 ноября 2023 года компания OpenAI анонсировала GPT-4 Turbo — более мощную, функциональную и дешевую версию своей большой языковой модели (LLM) GPT-4. Эта «супернейросеть» получила обновленную базу знаний, которая содержит информацию о самых разных событиях в мировом масштабе вплоть до апреля 2023-го.

GPT-4 Turbo доступна в двух версиях: одна предназначена исключительно для анализа текста, а вторая понимает контекст как текста, так и изображений. Стоимость использования новой LLM составляет $0,01 за 1000 входных токенов (приблизительно 750 слов). При этом токены представляют собой фрагменты необработанного текста: например, слово «fantastic» будет разделено на «fan», «tas» и «tic», то есть, на три токена. Цена на выходные токены — те, которые GPT-4 Turbo генерирует на основе входных данных, — установлена на уровне $0,03 за 1000. В случае обработки изображений стоимость зависит от их размера. Так, по данным OpenAI, передача изображения размером 1080×1080 пикселей в GPT-4 Turbo будет стоить $0,00765.

OpenAI анонсировала GPT-4 Turbo

Мы оптимизировали производительность, поэтому можем установить на GPT-4 Turbo цены в три раза ниже для входных токенов и в два раза ниже для выходных токенов по сравнению с GPT-4, — заявляет OpenAI.

GPT-4 Turbo имеет расширенное контекстное окно — 128 тыс. токенов, что в четыре раза больше, чем у GPT-4. Это самое большое контекстное окно среди всех коммерчески доступных LLM. Объем в 128 тыс. токенов соответствуют примерно 100 тыс. слов или 300 страницам, что эквивалентно приблизительно содержимому книги «Путешествия Гулливера» Джонатана Свифта. Новая языковая модель по сравнению с GPT-4 лучше справляется с задачами, требующими тщательного следования инструкциям, таким как генерация определенных форматов — например, «всегда отвечать в XML».^[1]

Разработана ИИ-система на GPT-4, которая быстро обучает роботов выполнять задачи лучше людей

20 октября 2023 года исследовательское подразделение Nvidia Research сообщило о разработке системы Eureka на основе искусственного интеллекта, предназначенной для обучения роботов сложным навыкам. В результате, машины получают возможность выполнять некоторые действия даже лучше людей. Подробнее здесь.

GPT-4 обманул защиту на основе ИИ: модель заменяет оружие на яблоки

Учёный из Google продемонстрировал, как модель GPT-4 обходит защиту других моделей машинного обучения, что подчёркивает значимость чат-ботов в качестве ассистентов исследователей. Об этом стало известно 1 августа 2023 года.

Для этого исследователь попросил GPT-4 разработать метод атаки и объяснить, как она работает.

AI-Guardian был разработан Гонгом Чжу, Шэнгчжи Чжаном и Кай Чэном и представлен в 2023 году . AI-Guardian был разработан для обнаружения модифицированных изображений, которые обманывают классификатор, и GPT-4 был задействован в обходе этого обнаружения.

Например, добавление дополнительных графических элементов к знаку «СТОП» может сбить с толку беспилотные автомобили. Это один из примеров злонамеренной модификации изображения, которое сканируется искусственным интеллектом в автомобиле.

В работе Карлини приводится код Python, предложенный GPT-4 для обхода мер защиты AI-Guardian от атак. GPT-4 сгенерировал сценарии и объяснения по настройке изображений для обмана классификатора. Так, классификатор может подумать, что фотография человека с оружием – это фотография человека с яблоком. Атаки снижают устойчивость AI-Guardian с заявленных 98% до 8%. Авторы AI-Guardian признали, что разработанный метод обхода успешно обманывает защиту AI-Guardian.

Для обхода защиты AI-Guardian было необходимо идентифицировать маску, используемую AI-Guardian для обнаружения враждебных примеров, показывая модели множество изображений, отличающихся только одним пикселем. Эта методика «грубой силы», описанная Карлини и GPT-4, в конечном итоге позволяет идентифицировать функцию активации обхода, чтобы затем можно было создать изображения для её обхода.

Карлини ожидает дальнейшего развития больших языковых моделей (Large Language Model, LLM).

Как калькулятор изменил роль математиков, существенно упростив выполнение механических расчетов, так и сегодняшние LLM-модели упрощают решение задач программирования, позволяя ученым тратить больше времени на разработку интересных исследовательских вопросов, - заключил Карлини[2].

Российская онлайн-школа Skyeng внедрила технологию GPT-4 в обучение

Онлайн-школа английского языка Skyeng запустила виртуального собеседника «Кешу» на основе чат-бота GPT-4. Об этом в компании рассказали в середине марта 2023 года. Подробнее здесь.

Создание продукта

14 марта 2023 года компания OpenAI, разработчик чат-бота ChatGPT, представила новую версию своей языковой модели на основе искусственного интеллекта, получившую обозначение GPT-4.

Сообщается, что GPT-4 — это крупная мультимодальная модель, обученная на огромном количестве данных, которые были не только взяты из открытых источников в интернете, но и лицензированы разработчиком. Это правильные и неправильные решения математических задач, рассуждения различного характера, противоречивые и последовательные утверждения и многое другое. Для тренировки нейросети применялась облачная инфраструктура Microsoft Azure. По заявлениям OpenAI, во многих реальных сценариях GPT-4 демонстрирует «производительность на уровне человека».

GPT-4 — это крупная мультимодальная модель, обученная на огромном количестве данных

Новая модель может принимать в качестве входных данных не только текст, но и изображения. В ряде задач, например, при обработке документов с текстом и фотографиями, диаграммами или снимками экрана, GPT-4 демонстрирует те же возможности, что и при вводе только текста. Сейчас функции обработки изображений проходят тестирование, а поэтому недоступны широкой публике.

Как отмечает OpenAI, в непринуждённой беседе разница между GPT-3.5 и GPT-4 может быть едва заметной. Ключевые различия проявляются, когда сложность задачи достигает определённого порога — модель GPT-4 более надёжна, креативна и способна обрабатывать гораздо более тонкие инструкции, нежели GPT-3.5.

Вместе с тем, говорят разработчики, новой модели присущи те же недостатки, что и предыдущим версиям. В частности, GPT-4 может «галлюцинировать» (выдумывать факты) и допускать ошибки в рассуждениях. Иногда нейросеть может совершать простые логические ошибки и принимать очевидные ложные утверждения от пользователя. Поэтому, как отмечает OpenAI, следует проявлять большую осторожность при использовании выходных данных языковой модели, особенно в задачах «с высокими ставками».^[3]

Примечания