В некотором коде: появился бот, способный затмить ChatGPT
Фото: Getty Images/gorodenkoff
Новичок рынка машинного обучения Claude 3 Opus, по мнению некоторых критиков, уже обошел по уровню знаний ChatGPT. Программа хорошо справляется с задачами, где нужны рассуждения, экспертные знания и математические способности. Творение бывших инженеров OpenAl представляет собой семейство моделей, которое устанавливает новые отраслевые стандарты в широком спектре когнитивных задач. Между тем, по словам IT-экспертов, преимущества у существующих и параллельно развивающихся российских ИИ-сервисов остаются за счет фокуса на русском языке. Опрошенные специалисты указывают, что одно из перспективных направлений для отечественных сетей — экспертные ИИ-боты. Подробности — в материале «Известий».
Убийца ChatGPT4
Основанная бывшими сотрудниками OpenAI компания Anthropic объявила о создании нового поколения моделей искусственного интеллекта — Claude 3. Технология представлена тремя продуктами: Haiku, Sonnet и Opus. Они отличаются возможностями и количеством параметров. Наиболее продвинутая версия — Opus. По заверениям Anthropic, она превосходит по целому ряду функций своих более известных конкурентов. К примеру, в бенчмарке, который требует знаний уровня магистратуры, Claude 3 Opus дала более 50% корректных ответов (у ChatGPT 4 — 35,7%).
Новый ИИ-бот хорошо справляется с задачами, где требуются размышления и математические способности. Разработчики не стесняются утверждать, что Opus демонстрирует «практически человеческий уровень понимания и скорость при выполнении сложных задач». Представленные модели Claude 3 способны обрабатывать большой спектр визуальных форматов, в том числе фото и диаграммы.
По мнению руководителя группы исследований и разработки технологий машинного обучения в «Лаборатории Касперского» Владислава Тушканова, после выхода Claude 3 дальнейшее развитие ИИ-ботов будет заключаться в увеличении максимального объема текста, который способен обработать чат-бот (это включает и документы, которые в него можно загрузить). Так, Claude-3 Sonnet способен обработать около 140 тыс. английских слов (русских слов из-за особенностей обработки будет меньше), в то время как у конкурентов эта цифра более скромная.
— Но российские сервисы за счет фокуса на русском языке умеют более эффективно работать с русским текстом, — говорит Тушканов. — При этом конкурентный сервис ChatGPT предоставляет пользователям большое количество интеграций со внешними сервисами через так называемые GPTs, что позволяет пользователям решать более интересные задачи.
По словам экспертов, для ИИ-ботов улучшение фактологической точности, навык отказываться от ответа на вопрос при отсутствии необходимой информации и развитие способности работать с внешними данными будут являться важной сферой для улучшений в сервисах, предоставляющих доступ к чат-ботам на основе LLM (large language model — большие языковые модели).
— Критически важный аспект — регулярное обновление информации и расширение зон охвата, — говорит ведущий менеджер продукта для интеллектуального поиска Content AI Антон Фролов. — Те компании, которые смогут научить алгоритмы в режиме реального времени собирать сведения из разных источников, дообучаться на ней и сразу же «выкатывать в прод», смогут вырваться далеко вперед в конкурентной гонке.
Всё ли есть текст
Специалисты утверждают, что чат-ботам не хватает философии познания. Они работают в парадигме Жака Дерриды — «всё есть текст». Если что-то нельзя описать словами, это не существует. Однако, с другой стороны, текст — это сжатая информация. Люди не могут и не будут общаться полными фразами.
— «В комнату вошел высокий человек в шляпе» — это всё, что знает нейросеть. Мы же знаем гораздо больше, потому что и с комнатами, и с людьми контактировали в реальной жизни. Общаемся же мы на нужном уровне абстракции, чтобы ускорять процесс, — замечает руководитель отдела аналитических систем и отчетности компании «Первый бит» Петр Иванов.
На сегодняшний день, рассуждает он, чат-бот, основанный на нейросетях, представляет собой де-факто просто базу текстов, организованную специальным образом. К ней можно обращаться на бытовом языке, делать запросы. При этом, по словам эксперта, у нейросетевых решений пока плохо получается генерировать видеоролики. Потому что кроме визуального ряда должны быть «законы драматургии»: экспозиция, завязка и прочее до развязки, то есть необходим более широкий контекст.
Важно также использовать доверенные источники при обучении моделей, отмечает руководитель отдела бизнес-поддержки продаж компании «Дататех» Александр Чулапов.
— Один из подходов к решению задачи контроля возникновения галлюцинаций — указание источников, на основании которых был сгенерирован ответ, и последующая проверка соответствия результатов первоисточнику, — предположил собеседник.
Технический директор PIX Robotics Кирилл Серов подчеркивает, что ИИ-ботам на сегодняшний день не хватает более качественных данных, на которых они могут обучаться. И это важный момент, поскольку существует прямая корреляция между качеством данных и точностью ответов чат-бота. Если получится настроить автоматический конвейер, который будет отбирать корректные сведения и регулярно обогащать базу для обучения моделей, это даст значительный толчок для развития GPT-ботов.
Руководитель проектов по развитию AI-продуктов компании Directum Илья Петухов дополняет, что сегодня для применения ИИ-ботов в бизнесе не хватает встроенности в процессы. Сейчас программы функционируют как дополнительное ПО или интерфейс для взаимодействия с пользователями, требующий отдельного запуска и ввода данных. И многие даже не знают, куда нужно зайти, как правильно формировать промпт-запрос, чтобы получить нужный результат, отмечает эксперт.
— Если же говорить про конкуренцию, то есть два глобальных вопроса, которые сейчас решают разработчики GPT-моделей, — говорит директор по инновационным проектам ГК InfoWatch Андрей Арефьев. — Первый — это развитие мультимодальности, расширение контекста и количества объектов, которые модель в состоянии обработать. От этого напрямую зависит качество контента: чем больше данных в разных форматах, тем сложнее и интереснее результат. Второй вопрос — это сокращение ресурсов, в первую очередь электроэнергии, которые GPT-модель тратит на обработку запросов.
После решения основных проблем конкуренция может перейти в другую плоскость, и ИИ-боты будут превращаться в полноценных аватаров с мимикой, эмоциями и своим стилем взаимодействия, добавил Александр Чулапов. Плюс одним из перспективных направлений для развития российских систем он видит усовершенствование экспертных ИИ-ботов.
Первый ИИ-червь как угроза нейросетям
Тревоги на рынке ИИ-ботов добавила последняя новость об экспериментальной разработке ИИ-червя. Группа исследователей из Израиля и Америки создала вирус Morris II, подогнанный под приложения на базе генеративного ИИ. Его задачей стало атаковать умного имейл-помощника.
Первый в своем роде вредоносный ИИ-червь указывает на новый вид кибератак, которые могут быть осуществлены в связанных, автономных экосистемах ИИ. Эксперименты показывают, как такой червь может использоваться для атак на почтовые помощники на базе ИИ с целью кражи данных из электронных писем и рассылки спама, нарушая при этом некоторые меры безопасности в системах ChatGPT и Gemini.
— Cамый простой способ предотвратить распространение червя, основанного на RAG (Retrieval‑augmented generation — генерация ответа с использованием результатов поиска), — использовать неактивный RAG, тот, который не обновляет свою базу в ответ на новые данные или избегает хранения ответов/пересылаемых электронных писем в RAG, — объяснил старший специалист отдела перспективных технологий Positive Technologies Алексей Пехтерев. — Однако следует отметить, что этот подход представляет собой компромисс между точностью/практичностью и безопасностью, поскольку главным недостатком этой меры является невозможность автоматической адаптации к новым тенденциям.
Особое внимание в исследовании разработчиков Morris II уделено «враждебным самовоспроизводящимся запросам», которые заставляют ИИ-модель в своем ответе генерировать новый запрос. В качестве вектора атаки использовались два типа писем: текстовые и в виде файла изображений. В первом случае вставленный вредоносный стимул «отравляет» базу данных имейл-ассистента — тому приходится для большей точности и надежности ответов GenAI-сервиса дополнять запрос результатами поиска по внешним источникам.
— Ученые сообщают про автоматизацию атак типа Prompt Injection (внедрение запроса), которые также называются Jailbreaking («побег из тюрьмы» — операция, позволяющая получить доступ к файловой системе ряда устройств Apple. — Ред.), — объясняет гендиректор Security Vision Руслан Рахметов. — Атаки типа Prompt Injection применяются для обхода ограничений систем ИИ и выполнения несанкционированных действий. Компании — разработчики систем ИИ сейчас озабочены вопросами контроля запросов пользователей и корректности данных, на которых обучаются LLM.
По мнению эксперта, функционал более строгой проверки вводимых пользователями запросов (данных и команд) поможет снизить риски реализации Jailbreaking-атак.
— Новость о вредоносном ИИ-черве открывает большой простор для манипулирования ИИ-ботами не в самых честных целях, — считает руководитель отдела аналитики угроз информационной безопасности группы компаний «Гарда» Алексей Семенычев. — Пока это больше эксперименты, но нет сомнений, что направление будет бурно развиваться, так как такое поражение ИИ дает злоумышленникам новый инструмент для реализации намерений. Например, если им удастся добраться до обучающих моделей и заложить вредонос на самом базовом уровне, последствия могут быть плачевными.
Если использовать пораженный ИИ для написания кода, то результаты его работы окажутся уязвимы. То есть пользователь будет получать априори дефективное ПО, и его эксплуатация может приводить к самым разным последствиям: от утечки данных до блокирования работы целых предприятий, в том числе поддерживающих жизнедеятельность граждан.
iz.ru/1661834/dmitrii-alekseev/v-nekotorom-kode-poiavilsia-bot-sposobnyi-zatmit-chatgpt