OpenAI представила світові свою останню потужну модель штучного інтелекту, GPT-4. Що приємно, штучний інтелект знайшов своє застосування у допомозі людям з вадами зору. Додаток Be My Eyes, який дозволяє сліпим і слабозорим людям просити зрячих описати те, що бачить їхній телефон, отримав "віртуального волонтера", який у будь-який момент може запропонувати допомогу на основі ШІ.
Ми писали про програму "Будь моїми очима" багато разів з моменту її запуску в 2015 році, і, звичайно, розвиток комп'ютерного зору та інших інструментів відігравав важливу роль в її історії, допомагаючи людям з вадами зору легше орієнтуватися в повсякденному житті. Але сам додаток може зробити не так багато, і основною функцією завжди була можливість отримати руку допомоги від волонтера, який міг подивитися через камеру вашого телефону і дати детальний опис або інструкцію.
Нова версія програми вперше інтегрує мультимодальні можливості GPT-4, тобто здатність не лише розмовляти, але й переглядати та розуміти зображення, які їй надаються.
Користувачі можуть надсилати зображення через додаток віртуальному волонтеру зі штучним інтелектом, який відповість на будь-яке запитання про це зображення і надасть миттєву візуальну допомогу для виконання широкого спектру завдань.
Як ChatGPT допомагає людям з вадами зору
Наприклад, якщо користувач надішле фотографію свого холодильника, віртуальний волонтер зможе не лише правильно визначити, що в ньому знаходиться, але й екстраполювати та проаналізувати, що можна приготувати з цих інгредієнтів. Інструмент також може запропонувати кілька рецептів для цих інгредієнтів і надіслати покрокову інструкцію, як їх приготувати.
Але відео, що супроводжує опис, є більш промовистим. У ньому користувачка Be My Eyes Люсі показує, як додаток допомагає їй у багатьох справах наживо. Якщо ви не знайомі зі швидкою мовою екранного читця, ви можете пропустити деякі діалоги, але програма описує фасон сукні, ідентифікує рослину, читає карту, перекладає етикетку, спрямовує її до певної бігової доріжки в спортзалі та підказує, на які кнопки натиснути в торговому автоматі.
Віртуальний волонтер "Будь моїми очима”
Це дуже лаконічна демонстрація того, наскільки недружня більша частина нашої міської та комерційної інфраструктури для людей з вадами зору. А також показує, наскільки корисним може бути мультимодальний чат GPT-4 за певних обставин.
Без сумніву, люди-волонтери й надалі залишатимуться важливими для користувачів програми "Будь моїми очима", їх неможливо замінити, лише підняти планку, коли вони будуть потрібні (і їх можна буде викликати негайно, якщо відповідь ШІ буде недостатньо хорошою).
Наприклад, у спортзалі ШІ послужливо підказує, що "вільні тренажери – це ті, на яких немає людей". "Дякую!” Як сказав сьогодні співзасновник OpenAI Сем Альтман, можливості ШІ вражають більше на перший погляд, ніж після того, як ви покористуєтесь ним деякий час, але ми також повинні бути обережними і не заглядати дареному коню в зуби занадто пильно.
Команда Be My Eyes тісно співпрацює з OpenAI та його спільнотою, щоб визначати та спрямовувати його можливості в міру його розвитку.
Наразі функція знаходиться у закритому бета-тестуванні серед "невеликої підгрупи" користувачів Be My Eyes, яка буде розширена протягом наступних тижнів. "Ми сподіваємося зробити Віртуального волонтера загальнодоступним у найближчі місяці", – пише команда. Як і наша існуюча волонтерська служба, цей інструмент є безкоштовним для всіх незрячих і слабозорих членів спільноти, які використовують додаток "Будь моїми очима". "
Враховуючи, як швидко ChatGPT був кооптований для надання послуг для корпоративних SaaS-платформ та інших досить прозаїчних додатків, дуже приємно бачити, що ця нова версія відразу ж почала працювати, допомагаючи людям.
