Чи може ШІ бути етичним, емпатичним і розуміти культурний контекст?

Дослідники з Вроцлавської політехніки працюють над створенням генеративного штучного інтелекту польською мовою в рамках проекту CLARIN-PL. Розмова з професором, доктором Пшемиславом Казієнком та доктором Яном Коконем з кафедри штучного інтелекту факультету комп'ютерних наук та телекомунікацій Вроцлавської політехніки про те, як персоналізувати алгоритми та навчити їх емпатії (або імітувати її), серед іншого.

Коли почали працювати над польським ботом на основі генеративного штучного інтелекту? До того, як ChatGPT OpenAI був оприлюднений, чи раніше?

Ян Кокон: З огляду на те, що наша модель також базується на архітектурі Transformer, ми працюємо з такими моделями вже понад 3 роки. З точки зору такого використання, як у ChatGPT, авторегресійного, тобто такого, що може створювати текст, в контексті спроб створити щось подібне для польської мови, ми почали працювати незабаром після того, як ChatGPT став загальнодоступним. 

Рекомендуємо прочитати:

• Бізнес в Німеччині: Виклики та можливості для українських підприємців
• Bard в Європі: Google впроваджує свого багатомовного чат-бота
• Чат-бот Med-PaLM-2: як штучний інтелект від Google може покращити охорону здоров'я

Ми вже працювали над такими аспектами обробки тексту, як поділ тексту на слова чи речення, визначення граматичних категорій слів. Національний корпус польської мови розроблявся переважно у Варшаві, але й за нашої участі на його основі створювалися моделі. Наприклад, ті, що виконують морфосинтаксичний аналіз тексту, тобто визначають граматичні категорії слів, а також їхні атрибути – число, рід і т. д. Ми також робили програми, які розпізнають власні назви слів або речень і програми, які розпізнають власні імена в тексті (наприклад, назви міст, країн, вулиць), емоції та тон тексту. Ці завдання не потребують генерації тексту. Так чи інакше, ці перші архітектури трансформерів в основному використовувалися для представлення вже відомого тексту. 

Класичний трансформер – це модель кодер-декодер, де кодер повинен бачити весь раніше відомий текст. Тобто на вхід подавався текст, і ми щось робили з цим текстом, наприклад, визначали якийсь клас цього тексту, або визначали, чи він смішний. Останні два роки з Пшемеком ми присвятили багато зусиль дуже інноваційному рішенню, а саме персоналізації таких моделей. Тоді модель не лише визначає, чи є текст смішним чи сумним, але ми ставимо питання "Для кого цей текст буде смішним" або які емоції він викличе у конкретної людини.

І як можна перевірити останню опцію?

Пшемислав Казієнко: Як і в більшості проблем зі штучним інтелектом та машинним навчанням, ми навчаємо моделі на наявних даних і тестуємо на невідомих. У випадку з персоналізацією висновків для текстів, все, що нам потрібно, – це кілька текстів, позначених певною людиною, і модель може зіставити свої висновки з цією людиною. ChatGPT можна використовувати аналогічно. Ми даємо їй у вхідному запитанні (підказці) інформацію про кілька текстів, які ми вважаємо образливими, разом із запитанням про образливість нового тексту. На основі такого додаткового контексту модель здатна робити різні висновки.

Звідки у вас виникла ідея кинути виклик світовим гігантам і попрацювати над польським ChatGPT?

Пшемислав Казієнко: На даний момент існує суспільна потреба. Мені здається, що компанія OpenAI, так би мовити, "перевернула ситуацію". Їх модель далеко не єдина, але вона була першою, яка отримала такий широкий розголос. Інші компанії робили дуже схожі речі, але, як правило, представляли результати своєї роботи науковцям або промисловості, на конференціях, або втілювали їх у конкретних продуктах. OpenAI змінила правила гри, показавши свою технологію широкому загалу. В результаті, раптово всі люди побачили можливості штучного інтелекту. Як наслідок, ми раптом повинні якось на це реагувати. Ми, як Польща, також повинні більш інтенсивно брати участь у розвитку штучного інтелекту. Ми не повинні обмежуватися лише кількома спеціалізованими науковими проектами. Наша команда з 20 осіб цієї зими швидко проводила дослідження в чаті GPT. Наприклад, ми помітили, що нового і важливого вносить технологія Chat GPT у порівнянні з іншими моделями. Це було фактично перше таке масштабне дослідження на цю тему у світі. Для цього ми поставили і проаналізували понад 70 000 запитань, щоб перевірити можливості ChatGPT і GPT-4 і оцінили, як вони працюють в різних завданнях? Як вони порівнюються з іншими кращими у своєму класі рішеннями в конкретному завданні, на конкретних колекціях, в тому числі польських, і т.д.? На даний момент результати вже опубліковані в журналі Information Fusion, одному з найкращих в галузі штучного інтелекту (стаття доступна за цим посиланням).

Які основні висновки вашого дослідження?

Перш за все, ми з'ясували, що ChatGPT пристойно справляється з більшістю завдань, але ні в чому не зрівняється з майстром, ні в чому не є найкращим. Дійсно, він гірше справляється з дуже складними завданнями, які включають розпізнавання пережитих емоцій при читанні заданого контенту, а також розпізнавання іронії або сарказму. З ними він не справляється "поки що". Пам'ятаймо також, що це непрості завдання для багатьох людей. Однак падіння якості роботи ChatGPT у таких складних завданнях не настільки велике, щоб бути дуже значущим, наприклад, для бізнесу. Навпаки, бот насправді виявився швидким і ефективним у багатьох простіших завданнях, наприклад, чи є відповідь на питання X в уривку тексту Y. Чим складнішим було завдання, тим більшою була ця різниця між найкращими моделями і саме GPT Chat.

Крім того, ми не знаємо, на чому саме проходили тренування з ChatGPT та GPT4. Нам здається, що більшість завдань, які ми тестували, були для нього новими, він не був з ними знайомий. Очевидно, що це знижує його результат. Якщо модель натренована на конкретному завданні, то, очевидно, вона краще справляється з аналогічним завданням. Висновок нашої статті полягає в тому, що, хоча ChatGPT трохи гірше справляється зі складними завданнями, з іншого боку, для моделі, яка ніколи не тренувалася спеціально на цих завданнях, вона впоралася добре. Іншими словами, для неї можна придумати будь-яке завдання і отримати прийнятний результат, принаймні для бізнесу.

Зараз багато говорять про те, що ШІ забере робочі місця у людей

Усе залежить від нашого підходу. На практиці це не станеться так швидко, тому що саме люди мають компетенцію оцінювати якість ШІ-моделі. На нашу думку, це може стати великою підтримкою для багатьох робочих місць. Останнім часом у ЗМІ активно обговорюється тема чотириденного робочого тижня. Напевно, всі ми стикаємося з такою повторюваною, бездумною діяльністю у своїй роботі. Було б добре, якби машина могла робити це за нас, наприклад, сортувати електронну пошту або робити нотатки про зустрічі. Це вже досить добре працює, але для англійської, а не польської мови.

Рекомендуємо прочитати:

• Окуляри Apple Vision Pro можна буде придбати лише в стаціонарних магазинах
• Кому потрібно трохи більше штучного інтелекту? Компаніям це потроху набридає. "Кожен день новий інструмент"
• ChatGPT на стероїдах: використовуємо плагіни для написання статей

ChatGPT не впорався з польською мовою. Відомо, що він не може писати вірші або пісні польською, тобто не римує. У нас є гіпотеза, що це результат недостатнього тренування ChatGPT на великій вибірці польської мови.

Наразі загальний штучний інтелект, такий як ChatGPT, можна дуже швидко використовувати для різних типів швидкого прототипування та тестування. Тоді ми не витрачаємо кілька місяців на створення спеціальних моделей. Це прискорює дослідження. Наведіть приклад. Нещодавно до нас прийшов дослідник зі своїм корпусом текстів на певну тематику і запитав, чи є у нас інструменти, за допомогою яких можна виокремити всі прикметники та прислівники, що стосуються певних емоцій. Ми віддали це на аутсорсинг ChatGPT і отримали чудовий результат.

Ви проаналізували ChatGPT. Чи врахували ви слабкі сторони ChatGPT у своєму оригінальному польському рішенні?

Звичайно, ми хочемо це зробити, але варто також пам'ятати, що ChatGPT – це модель, заснована на GPT-3.5. OpenAI показала, що витратила понад 4 мільйони доларів тільки на навчання цієї моделі. Гроші – це найбільша перешкода для нас. Наш грант від POIR (Operational Programme Intelligent Development) та кошти від Вроцлавського центру суперкомп'ютерних мереж на придбання обладнання становлять близько 80 мільйонів злотих. Найімовірніше, ми отримаємо комп'ютерне обладнання не раніше наступного року. Друга ключова річ – це наявність дуже великої кількості текстів, на яких ми попередньо тренуємо модель, щоб вона взагалі розуміла природну мову. 

У нас їх величезна кількість, але нам потрібно більше, тому що польська мова викликає багато труднощів. Особливо це стосується контенту, специфічного для польського культурного та соціального контексту. Вікно на сайті Clarin-PL наразі де-факто є вікном для ChatGPT. Наразі ми заохочуємо людей використовувати ChatGPT через це вікно, щоб користувачі могли розповісти нам, з чим ChatGPT не зміг впоратися польською мовою. Відомо, що він не може писати вірші або пісні польською мовою, тобто не римує. У нас є гіпотеза, що це результат того, що ChatGPT не тренувався на великій вибірці польської мови. Досить багато людей вже було залучено.

Потрібна буде людська верифікація, яка може бути складнішою, ніж зараз. Іноді це означатиме для нас більше роботи, ніж створення цього контенту самостійно.

Друга проблема – дуже велика кількість інструкцій з правильними відповідями, на яких навчають такого чат-бота, навчаючи його специфічної поведінки для взаємодії з людиною. Наша цільова модель потребує іншого набору навчальних інструкцій, ніж той, що використовується в оригінальному ChatGPT. Завдяки відгукам, отриманим від нашої польської спільноти, ми створимо цільовий набір даних, на якому навчимо найкращу модель для польської мови. Вона розумітиме нашу природну мову. Крім того, з точки зору бізнесу, важливо, щоб робота моделі відповідала політиці компанії, тобто, наприклад, не торкалася певних суперечливих тем, не була агресивною чи образливою. Тут ми торкаємося питання, що як суспільство ми не можемо контролювати те, що робить OpenAI. ChatGPT пристосований до потреб американських компаній і суспільства, їхнього погляду на світ і розуміння його. Прийнятність різних речей відрізняється від Польщі чи Європи. Ми повинні робити свої власні речі, щоб інші не нав'язували нам, як виглядає світ або як, на їхню думку, він повинен виглядати. Це не повинно бути лише питанням світогляду чи питанням іншої чутливості, але також багато питань фактів. Ці типи систем дедалі більше відіграватимуть роль певної загальної бази знань і, отже, впливатимуть на суспільство. Іншими словами, формувати наратив, наприклад, хто винен у війні в Україні. Ми боїмося, що нам буде дедалі важче відрізнити, хто написав той чи інший контент – людина чи машина. Ось чому наша участь у цій революції так важлива.

Розвиток загального штучного інтелекту означатиме, що нам потрібно буде все менше і менше обробляти інформацію глибоко і раціонально, оскільки системи будуть робити це за нас.

Ми про це не турбуємося. Важливіше те, які наслідки матиме стрімкий розвиток штучного інтелекту для всієї системи освіти. На нашу думку, це питання довіри до представленого нам контенту. Вже зараз стає дедалі незрозуміліше, з ким ми маємо справу – з ботом чи людиною в Інтернеті. Це може призвести до атрофії довіри та людських стосунків. Крім того, спосіб мислення людини може бути підпорядкований машині, а отже, ми будемо імітувати її міркування та спілкування. Ми також повинні запитати себе, як повинна виглядати наша система освіти? Адже ми будемо готувати людей до життя у світі, в якому значною мірою домінуватиме штучний інтелект. На це немає простої відповіді. Ми вважаємо, що ми повинні навчати людей бути незалежними, творчими, працювати разом у групі та вирішувати проблеми, а не проходити якийсь курс, мати певні фактичні знання і змагатися за ті чи інші оцінки. У наш час стає все важче і важче вирішувати реальні проблеми або проводити дослідження наодинці. Візьмемо, наприклад, наше велике опитування на початку цього року, в якому взяли участь понад 20 осіб. Воно вимагало великої співпраці та швидкого "доведення" результату. 

Крім того, зростання знань зараз занадто велике, щоб одна людина могла їх опанувати. Навіщо сьогодні давати дитині домашнє завдання, якщо за неї це зробить ChatGPT? Йому навіть не потрібно більше переписувати Вікіпедію? Інтуїтивно зрозуміло, що чим більше буде інструментів для створення контенту, тим важче буде, наприклад, журналістам та представникам інших професій. Цей контент не обов'язково буде хорошим і правильним, і ЗМІ доведеться докопуватися до суті та встановлювати, чи не є він фейковим і не згенерованим машиною. Генеративні інструменти також можуть, наприклад, генерувати позови та аргументи, що не означає, що вони будуть правильними і правдивими, а сторона виграє справу. Буде потрібна людська перевірка, яка може бути складнішою, ніж зараз. Іноді це означатиме для нас більше роботи, ніж створення цього контенту власноруч.

Штучний інтелект є дуже важливою частиною побудови конкурентних переваг

На Заході дедалі частіше обговорюється питання, чи не робимо ми ведмежу послугу дітям, так глибоко занурюючи їх у цифровий світ з самого початку їхнього життя. Як це вплине на їхню психіку та здатність обробляти інформацію чи будувати міжособистісні стосунки? Ми – останнє покоління, яке виросло без цих цифрових новинок і, як наслідок, маємо критичне мислення, яке дозволяє нам трохи критичніше розрізняти цифровий світ і світ реальний. Зараз ми спостерігаємо різке зростання кількості самогубств, депресій та емоційних розладів серед молоді, і це часто пов'язано, наприклад, з багатогодинним сидінням у соціальних мережах. У Франції розглядається питання про заборону соціальних мереж для людей віком до 15-16 років.

TikTok для Європи та Америки також вважається джерелом нерозвиваючого контенту, простих бездумних відео, які, до речі, все ще подаються таким чином, щоб утримати людей в додатку якомога довше, тоді як TikTok для Китаю, як кажуть, виглядає зовсім інакше. Там діти отримують креативний контент, а до вчених там ставляться як до знаменитостей; там також є низхідні ліміти на кількість часу, який діти можуть проводити в додатку, і т. д. Звичайно, ми навряд чи захочемо жити у світі, подібному до китайського, але, можливо, в цих конкретних аспектах вони виграють. Як відповідальні за розвиток наступного покоління, ми повинні обговорювати це в суспільстві.

Розвиток загального штучного інтелекту означатиме, що нам буде потрібно все менше і менше для того, щоб глибоко і раціонально обробляти інформацію, тому що системи будуть робити це за нас. Багато досліджень показують, що якщо на задане питання відповідь одразу дається в браузері, більшість людей навіть не дивляться на посилання на джерела, вони просто одразу "беруть" дану відповідь. Наш мозок любить евристику і взагалі лінивий. Виявляється, що наслідком тривалого перебування в цифровому світі є зміна моделі запам'ятовування – нам легше запам'ятати посилання на інформацію та ключові слова, ніж запам'ятати саму інформацію. Системи знають все більше і більше про нас, про те, що ми шукаємо і чого потребуємо. Вони стають все більш персоналізованими і оточують нас все більш щільною бульбашкою, яка до того ж є дуже приємною. Таким чином, ми ставатимемо все більш залежними від систем і, в довгостроковій перспективі, втрачатимемо здатність мислити раціонально. Швидше за все, ми ставатимемо дедалі дурнішими. А якщо ми не будемо мислити раціонально, наш мозок зменшиться. Я думаю, що варто почати думати про те, як зберегти нашу людяність. GPT-чат – це все одно, що відкрити скриньку Пандори.

Штучний інтелект є дуже важливим елементом у створенні конкурентних переваг. Як Польща, ми повинні приєднатися до цієї гонки, щоб не опинитися на периферії світу, щоб не стати своєрідною країною-колонією. Завдяки відповідям, які ми збираємо через польське вікно на ChatGPT, ми створюємо локальну базу даних з дорогих, оскільки отриманих від людей, даних. Ми також повинні більше інвестувати в освіту, пов'язану зі штучним інтелектом, якщо хочемо відігравати тут важливу роль.

Рекомендуємо прочитати:

• Ще один виробник електромобілів підтримує стандарт зарядки Tesla
• Як закрити ФОП онлайн за допомогою Дії?
• Китайський АІ кращий за ChatGPT? Так стверджує Baidu