Столиця Нідерландів витратила пів мільйона євро на розробку алгоритму Smart Check, який мав виявляти шахрайство серед отримувачів соціальної допомоги. Система виявилася упередженою та неефективною.
Ханс де Зварт, колишній директор провідної організації з цифрових прав Нідерландів, ледь не впав зі стільця, коли побачив план Амстердама. Місто збиралося використовувати алгоритм для оцінки кожного заявника на соціальну допомогу на предмет потенційного шахрайства. Це було в лютому 2023 року.
Система Smart Check мала розглядати заяви від потенційних отримувачів соціальної допомоги та визначати, хто міг подати некоректну заявку. За словами де Зварта, цей проект виділявся серед усіх інших — і не в хорошому сенсі.
З іншого боку, Пол де Конінг, консультант міста, дивився на ту саму систему з гордістю. Він керував пілотною фазою Smart Check і був захоплений потенціалом проекту покращити ефективність та усунути упередження з системи соціальних виплат Амстердама.
Команда детективів з боротьби з шахрайством та науковців з даних роками працювала над Smart Check. Де Конінг вірив, що обнадійливі ранні результати виправдали їхній підхід. Місто консультувалося з експертами, проводило тести на упередження, впроваджувало технічні гарантії.
Розуміння того, як Амстердам опинився в цьому становищі, вимагає повернення на чотири десятиліття назад — до національного скандалу навколо розслідувань соціального забезпечення. У 1984 році Альбіне Грумбок, розлучена мати трьох дітей, дізналася, що один із сусідів таємно стежив за її життям.
Нідерланди стали своєрідним епіцентром проблемних розгортань штучного інтелекту в соціальному забезпеченні. У 2019 році виявилося, що національний уряд використовував алгоритм для створення профілів ризику в системі допомоги з догляду за дітьми. Скандал торкнувся майже 35 000 батьків, більшість з яких були мігрантами.
У Роттердамі дослідження 2023 року виявило упередженість системи виявлення шахрайства проти жінок, батьків, тих, хто не є носіями нідерландської мови. Місто змушене було призупинити використання системи.
Smart Check використовував алгоритм під назвою "пояснювальна підсилювальна машина", який дозволяє людям легше розуміти, як моделі штучного інтелекту створюють свої прогнози. Модель розглядала 15 характеристик, включаючи попередні заяви на допомогу, суму активів та кількість адрес у файлі.
Система навмисно уникала демографічних факторів, таких як стать, національність або вік. Вона також намагалася уникнути "проксі" факторів, як-от поштові індекси, які можуть здаватися нечутливими на поверхні.
Перші результати не виправдали сподівань. Коли команда передової аналітики міста запустила початкову модель у травні 2022 року, вони виявили, що алгоритм показав сильне упередження проти мігрантів та чоловіків.
Початкова модель була більш схильна помилково позначати заявників-не нідерландців. Вона була майже вдвічі більш схильна помилково позначати заявника з незахідною національністю, ніж із західною. Модель також була на 14% більш схильна помилково позначати чоловіків для розслідування.
Команда спробувала виправити упередження за допомогою техніки, відомої як перезважування навчальних даних. Це означало, що заявники з незахідною національністю отримували меншу вагу в даних.
У листопаді 2023 року Рутгер Гроот Вассінк, міський чиновник, відповідальний за соціальні справи, оголосив про припинення пілотного проекту. Він пояснив, що йому було б дуже важко виправдати продовження пілоту, який показав би величезне упередження алгоритму.
Місто витратило приблизно 500 000 євро плюс 35 000 євро на контракт із Deloitte. Майже 1 600 заяв на соціальну допомогу було оброблено через модель протягом пілотного періоду.
Експеримент Амстердама показав складність створення справедливих алгоритмічних систем. Незважаючи на дотримання всіх рекомендацій "відповідального штучного інтелекту", система все одно виявилася упередженою та неефективною.
Критики стверджують, що проблема полягає не в технічних недоліках, а в самій концепції використання даних про минулу поведінку для прогнозування майбутньої поведінки громадян. Це фундаментальне питання етики та політики, яке не можна вирішити лише технічними засобами.
