OpenAI представила миру свою последнюю мощную модель искусственного интеллекта, GPT-4. Что приятно, искусственный интеллект нашел свое применение в помощи слабовидящим людям. Приложение Be My Eyes, которое позволяет слепым и слабовидящим людям просить зрячих описать то, что видит их телефон, получило "виртуального волонтера", который в любой момент может предложить помощь на основе ИИ.
Мы писали о приложении "Будь моими глазами" много раз с момента его запуска в 2015 году, и, конечно, развитие компьютерного зрения и других инструментов играло важную роль в его истории, помогая слабовидящим людям легче ориентироваться в повседневной жизни. Но само приложение может сделать не так много, и основной функцией всегда была возможность получить руку помощи от волонтера, который мог посмотреть через камеру вашего телефона и дать подробное описание или инструкцию.
Новая версия программы впервые интегрирует мультимодальные возможности GPT-4, то есть способность не только разговаривать, но и просматривать и понимать изображения, которые ей предоставляются.
Пользователи могут отправлять изображения через приложение виртуальному волонтеру с искусственным интеллектом, который ответит на любой вопрос об этом изображении и предоставит мгновенную визуальную помощь для выполнения широкого спектра задач.
Как ChatGPT помогает слабовидящим людям
Например, если пользователь пришлет фотографию своего холодильника, виртуальный волонтер сможет не только правильно определить, что в нем находится, но и экстраполировать и проанализировать, что можно приготовить из этих ингредиентов. Инструмент также может предложить несколько рецептов для этих ингредиентов и прислать пошаговую инструкцию, как их приготовить.
Но видео, сопровождающее описание, является более красноречивым. В нем пользовательница Be My Eyes Люси показывает, как приложение помогает ей во многих делах вживую. Если вы не знакомы с быстрым языком экранного чтеца, вы можете пропустить некоторые диалоги, но программа описывает фасон платья, идентифицирует растение, читает карту, переводит этикетку, направляет ее к определенной беговой дорожке в спортзале и подсказывает, на какие кнопки нажать в торговом автомате.
Виртуальный волонтер "Будь моими глазами"
Это очень лаконичная демонстрация того, насколько недружелюбна большая часть нашей городской и коммерческой инфраструктуры для слабовидящих людей. А также показывает, насколько полезным может быть мультимодальный чат GPT-4 при определенных обстоятельствах.
Без сомнения, люди-волонтеры и в дальнейшем будут оставаться важными для пользователей приложения "Будь моими глазами", их невозможно заменить, только поднять планку, когда они будут нужны (и их можно будет вызвать немедленно, если ответ ИИ будет недостаточно хорошим).
Например, в спортзале ИИ услужливо подсказывает, что "свободные тренажеры – это те, на которых нет людей". "Спасибо!" Как сказал сегодня соучредитель OpenAI Сэм Альтман, возможности ИИ впечатляют больше на первый взгляд, чем после того, как вы попользуетесь им некоторое время, но мы также должны быть осторожными и не заглядывать дарёному коню в зубы слишком пристально.
Команда Be My Eyes тесно сотрудничает с OpenAI и его сообществом, чтобы определять и направлять его возможности по мере его развития.
Сейчас функция находится в закрытом бета-тестировании среди "небольшой подгруппы" пользователей Be My Eyes, которая будет расширена в течение следующих недель. "Мы надеемся сделать Виртуального волонтера общедоступным в ближайшие месяцы", – пишет команда. Как и наша существующая волонтерская служба, этот инструмент является бесплатным для всех незрячих и слабовидящих членов сообщества, которые используют приложение "Будь моими глазами".
Учитывая, как быстро ChatGPT был кооптирован для предоставления услуг для корпоративных SaaS-платформ и других довольно прозаических приложений, очень приятно видеть, что эта новая версия сразу же начала работать, помогая людям.
