Столица Нидерландов потратила полмиллиона евро на разработку алгоритма Smart Check, который должен был выявлять мошенничество среди получателей социальной помощи. Система оказалась предвзятой и неэффективной.
Ханс де Зварт, бывший директор ведущей организации по цифровым правам Нидерландов, едва не упал со стула, когда увидел план Амстердама. Город собирался использовать алгоритм для оценки каждого заявителя на социальную помощь на предмет потенциального мошенничества. Это было в феврале 2023 года.
Система Smart Check должна была рассматривать заявления от потенциальных получателей социальной помощи и определять, кто мог подать некорректную заявку. По словам де Зварта, этот проект выделялся среди всех остальных – и не в хорошем смысле.
С другой стороны, Пол де Конинг, консультант города, смотрел на ту же систему с гордостью. Он руководил пилотной фазой Smart Check и был восхищен потенциалом проекта улучшить эффективность и устранить предубеждения из системы социальных выплат Амстердама.
Команда детективов по борьбе с мошенничеством и ученых из данных годами работала над Smart Check. Де Конинг верил, что обнадеживающие ранние результаты оправдали их подход. Город консультировался с экспертами, проводил тесты на предубеждение, внедрял технические гарантии.
Понимание того, как Амстердам оказался в этом положении, требует возвращения на четыре десятилетия назад – к национальному скандалу вокруг расследований социального обеспечения. В 1984 году Альбине Грумбок, разведенная мать троих детей, узнала, что один из соседей тайно следил за ее жизнью.
Нидерланды стали своеобразным эпицентром проблемных развертываний искусственного интеллекта в социальном обеспечении. В 2019 году оказалось, что национальное правительство использовало алгоритм для создания профилей риска в системе помощи по уходу за детьми. Скандал затронул почти 35 000 родителей, большинство из которых были мигрантами.
В Роттердаме исследование 2023 года выявило предвзятость системы выявления мошенничества против женщин, родителей, тех, кто не является носителями нидерландского языка. Город вынужден был приостановить использование системы.
Smart Check использовал алгоритм под названием "объяснительная усилительная машина", который позволяет людям легче понимать, как модели искусственного интеллекта создают свои прогнозы. Модель рассматривала 15 характеристик, включая предыдущие заявления на пособие, сумму активов и количество адресов в файле.
Система намеренно избегала демографических факторов, таких как пол, национальность или возраст. Она также пыталась избежать "прокси" факторов, таких как почтовые индексы, которые могут казаться нечувствительными на поверхности.
Первые результаты не оправдали надежд. Когда команда передовой аналитики города запустила начальную модель в мае 2022 года, они обнаружили, что алгоритм показал сильное предубеждение против мигрантов и мужчин.
Начальная модель была более склонна ошибочно обозначать заявителей-не нидерландцев. Она была почти вдвое более склонна ошибочно обозначать заявителя с незападной национальностью, чем с западной. Модель также была на 14% более склонна ошибочно помечать мужчин для расследования.
Команда попыталась исправить предубеждение с помощью техники, известной как пересчитывание учебных данных. Это означало, что заявители с незападной национальностью получали меньший вес в данных.
В ноябре 2023 года Рутгер Гроот Вассинк, городской чиновник, ответственный за социальные дела, объявил о прекращении пилотного проекта. Он объяснил, что ему было бы очень трудно оправдать продолжение пилота, который показал бы огромное предубеждение алгоритма.
Город потратил примерно 500 000 евро плюс 35 000 евро на контракт с Deloitte. Почти 1 600 заявлений на социальную помощь было обработано через модель в течение пилотного периода.
Эксперимент Амстердама показал сложность создания справедливых алгоритмических систем. Несмотря на соблюдение всех рекомендаций "ответственного искусственного интеллекта", система все равно оказалась предвзятой и неэффективной.
Критики утверждают, что проблема заключается не в технических недостатках, а в самой концепции использования данных о прошлом поведении для прогнозирования будущего поведения граждан. Это фундаментальный вопрос этики и политики, который нельзя решить только техническими средствами.
