Что лучше, ChatGPT или Claude?

На данный момент наилучшими ИИ для решения широкого круга задач являются GPT-4 и Claude. Первая модель искусственного интеллекта разработана OpenAI, а вторая компанией Anthropic. В этой статье мы будем сравнивать чат ботов по нескольким   критериям.

Первый это количество функций. Второй это длина текста, загрузка и обработка документов, долгосрочная  память, качество написания текста на русском, в  том числе его и грамматика и уникальность. Также  мы попытаемся написать какой-нибудь код и сделаем выводы.

В своей базовой версии ChatGPT не сильно впечатляет. Но платная версия ChatGPT Plus поражает широтой своих возможностей. Платный “Чат” подключен к   гигантскому количеству плагинов, которые могут  работать с тоннами информации и выдавать крутой   результат.

Например, плагин Wolfram – помощник в математических вычислениях, рекомендуется студентам, преподавателям, инженерам, программистам и т. д. С помощью плагинов можно “суммировать” ролики YouTube, искать научные исследования на определенную тему, рерайтить новости и статьи из интернета (Browse with Bing, Link Reader и т. д.). С помощью плагина Video Insights можно транскрибировать любое видео из YouTube. Такая возможность пригодится владельцам сайтов, копирайтерам, интернет-маркетологам и всем, кто так или иначе работает с текстами и размещает их в интернете.

Code Interpreter – помощник для программиста и не только

Отдельно следует сказать про Code Interpreter – это полезный инструмент, который помогает начинающим разработчикам быстрее осваивать написание и оптимизацию кода.

Он работает на языке Python в изолированной среде выполнения. После подключения модуля создается непрерывная сессия, которая сохраняется на протяжении всего общения с чат-ботом. Это позволяет последовательно выполнять фрагменты кода, не теряя контекст. 

Code Interpreter умеет решать математические задачи, анализировать и визуализировать данные, предоставлять статистику, строить и тестировать простые модели, проверять чувствительность, конвертировать файлы. 

Взаимодействие с чат-ботом происходит через текстовые запросы. Например, можно попросить проанализировать Excel-файл с данными о венчурных инвестициях – построить регрессионную модель и визуализацию.

Таким образом, Code Interpreter упрощает изучение программирования, позволяя экспериментировать с кодом в диалоге с чат-ботом. Это удобный инструмент для быстрого прототипирования и обучения на практике.

Claude – это чат-бот с функцией код интерпретатора,   с возможностью загрузки файлов. Можно загрузить текст или таблицу, pdf, но нельзя – изображение, аудио или видео. В Code Interpreter этого ограничения нет.

Если по функциям   GPT-4 сильно обогнал Claude, то давайте посмотрим  качество работы с этими функциями. А именно сравним Claude  и Code Interpreter, как они работают с контекстом  файла, который мы можем загрузить в него. Я сразу  же взял файл на 92 тысячи символов и решил задать три вопроса. Каждый   вопрос из определенной части текста. 

Я взял текст  из книги “Сториномика” Номика Роберта Макки.  Первый   вопрос будет из начала, второй из середины  и третий из конца этой книги. Так,   первый вопрос. Какой феномен был выявлен в  ходе исследования с использованием технологии,   позволяющей отслеживать движение глаз?  

И что же нам пишет наш GPT-4? Дескать, в файле сказано про саккады или фиксации.  На самом деле этого не было в том  тексте, который я скинул. 

Что же ответил нам Claude?  Claude нам ответил, что в файле говорится, что  рекламное агентство InfoLinks провело исследование   с использованием технологий отслеживания движения  глаз. И они выявили там феномен баннерной   слепоты, когда пользователи буквально не видят  рекламные объявления при просмотре веб-страниц. Это правильный ответ на вопрос,   на который GPT-4 не смог ответить. Вы представляете?  GPT-4 не смог ответить на простой вопрос из начала  этого текста. 

Итак, второй вопрос. Исходя из той  информации, что я тебе дал, что обнаружил человек,   обретя самосознание? И тут GPT-4 нам  просто начал писать, что обретает человек,   что получает, что понимает, когда обретает  самоосознание. Короче, всякая ерунда.

А Claude по факту   ответил, как было написано в книге все, что нужно.  Разделение на «я» и «не я», ощущение изоляции,   неумолимость течения времени, существования. 

Дальше я задал интересный вопрос: какие эффекты производит инициирующее  событие? Этих эффектов было 4. Посмотрим как  ответил у нас gpt 4.

GPT-4 написал, что инициирующее событие приводит к отключению   системы охлаждения. И это в книге про сторителлинг!

Вывод простой: если вы   хотите работать с текстом, то работайте с Claude.  Единственное, то что у него есть минус, это лимит в 100   тысяч символов. В GPT-4 больше, но какой смысл  если он не может отвечать на вопросы по данному файлу? 

Следующий тест на длину текста – я попросил плотно писать статью про кофе  на 10 тысяч слов. Просто кофе это моя больная тема. И что же? Claude пишет реально большую статью. Но есть маленький минус – он настолько маленький, что это скорее особенность, а не недостаток. В Claude нельзя остановить генерацию статьи, а в ChatGPT можно. 

То же  самое я написал чату GPT и получил жесткий облом. Он написал, что не может написать статью на 10 000 слов, но может написать план статьи на 10 000 слов. Очень похоже на хитрости знаменитого Джека Воробья из “Пиратов Карибского моря”.

Попросим его написать статью на   максимальное количество слов и замерим  какое количество символов получилось. В Cloude не будем  замерять, потому что тут сразу же понятно, что тут реально очень много. 

Сразу же хочу отметить, что  ChatGPT пишет по какому-то классическому шаблону.   Я, конечно, не прописывал какой-то суперский  промпт, но он всегда пишет вот так: вступление, короткая часть, длинная часть и т. д.

В Claude без заголовков,  но зато здесь есть списки, это  выглядит нормально, хорошо. Перейдем в Deeple Translate и скопируем текст из GPT-4. Вышло 2574. Не так уж и плохо, учитывая, что во многих случаях ChatGPT пишет реально короче.

Я  попросил Claude и ChatGPT написать  SEO-оптимизированный текст на тему   благоустройства жилья с ключевыми словами: квартира,  благоустройство, благополучие, бла-бла-бла и так   далее. Короче, SEO текст с определенными ключевыми  словами. Также попросил писать на русском   без грамматических орфографических ошибок. Теста проверял через сервисы RusTxt и Advego. Ошибок не найдено. Конкуренты справились с заданием. 

Так, давайте сразу же проверим наш текст  на уникальность. Проверим с помощью данного сервиса https://detecting-ai.com/.   Интересная такая штука. Ого! Написано, что на  90% текст генерирован ИИ. Этот текст от Cloude.  

Давайте попробуем  написать текст на английском и может быть это исправит ситуацию, потому что чат GPT и Claude они же  тренировались больше на английском языке. 

Итак, я попросил  Claude написать абсолютно уникальный текст про кофе на   300 слов. Давайте мы его скопируем,  вставим в наш Detector и запустим проверку.   

Написано, что на 100% человеческий текст, но здесь  есть метод B, который может отыскать генеративную часть текста, и чаще всего он это  делает. Вердикт: на 47,9% человеческий текст, на 52,1%   сгенерировано ИИ. 

Ладно, давайте проверим сейчас  чат GPT. Так, текст методом A чата GPT тоже 100%.  Давайте проверим методом B. Я думаю, что тоже  где-то будет примерно так же. Скорее всего, как и Claude. 88,2%. То есть на английском он генерирует  лучше. 

Так что по итогу сейчас ничья между двумя конкурентами 3:3.

И так следующее это долгосрочная память. Проверяем ChatGPT и Claude. Я написал как меня  зовут и спросил как меня зовут. Далее я попросил написать подробную статью о происхождении имени. После чего снова спросил, как меня зовут. Оба конкурента справились.

Но есть один момент. После статьи о происхождении имени я спросил “Чат” о книге “Сториномика”, о которой было сказано выше. Тут “Чат” начал галлюцинировать, написал, что “Сториномику”  написал бизнесмен Максим Спиридонов. Но ведь такой книги нет! Будьте поаккуратнее с информацией, которую вы берете у чата GPT! Claude не соврал и написал так, как нужно. 4:3 в пользу Claude.

Итак,  следующий тест – это написание кода. Я  решил сделать игру Flappy Bird на языке Python. В GPT-4 я сделал это за 5 минут,  он выдал несколько ошибок, но я их вместе с   GPT исправил. И всё нормально, всё кайфово. Я вот  даже поиграл немножко. Claude с этой задачей не справился. 4:4, счет равный.

Попытаемся сделать выводы. ChatGPT в своей платной версии предлагает гораздо больше возможностей, чем Claude. Но в то же самое время Claude показывает лучшие результаты при работе с текстом.