Перегляньте приховану упередженість ChatGPT щодо вашого штату чи міста

Запитайте ChatGPT, у якому штаті найбільше ледачих людей, і чат-бот ввічливо відмовиться відповісти. Але дослідники з Оксфорда та Університету Кентуккі змусили бота виявити свої приховані упередження.

Карта вище показує, як ChatGPT, коли натискається, ранжує штати за їхньою лінню.

ChatGPT оцінив Міссісіпі як країну з найбільш ледачими людьми, а решта Глибокого Півдня не відстає. Ця модель свідчить про те, що чат-бот підхопив історичні расові упередження проти темношкірих людей. Міссісіпі має найвищий відсоток темношкірих жителів у країні.

Ці регіональні стереотипи не навмисно запрограмовані в ChatGPT його виробником, OpenAI. Вони поглинаються з величезної кількості онлайн-тексту, який використовується для навчання його штучного інтелекту. І вони можуть реально вплинути на те, що ChatGPT повідомляє своїм понад 900 мільйонам користувачів щотижня, кажуть дослідники, які стоять за дослідженням. (The Washington Post співпрацює з OpenAI у сфері контенту.)

Нижче ви можете дізнатися, як ChatGPT бачить ваше місто порівняно з десятками інших за такими характеристиками, як чесність, гостинність і вживання наркотиків.

Висновки зроблені в результаті рецензованого аудиту ChatGPT, опублікованого в січні в журналі Platforms & Society. Дослідники поставили перед чат-ботом понад 20 мільйонів запитів, кожен з яких просив порівняти два місця в різних суб’єктивних категоріях. (Наприклад: який штат безпечніший, Нью-Йорк чи Флорида?) Повторне запитання про понад 600 різних місць виявило закономірності в оцінці ChatGPT різних країн, штатів, міст і районів.

(Дослідники використовували версію ChatGPT від 2024 року, відому як 4o-mini, яка, як вони виявили, мало відрізнялася від більш складної моделі 4o, яка була типовою під час їх тестів.)

Подібні експерименти з використанням генераторів зображень штучного інтелекту викрили такі стереотипи, як інструменти штучного інтелекту, які зазвичай показують «привабливих людей» молодшими та світлошкірими. Ці асоціації витягуються з упереджень в онлайн-зображеннях, які використовуються для навчання алгоритмів генерації зображень.

Метью Зук, професор географії в Університеті Кентуккі та один із авторів дослідження, каже, що упередженість текстового чат-бота важче помітити. Самі боти схожі на чорні скриньки, які не повідомляють вам, чому відповідають саме так. Але, як і генератори зображень, боти навчаються на контенті, створеному людьми: тексті з Інтернету та з книг, які також є упередженими.

«Чим більш поширеним або домінуючим є стереотип, тим більша ймовірність, що він з’явиться в моделі», — каже Зук.

Стереотипи Інтернету про гавайську піцу можна побачити у відповідях ChatGPT: чат-бот поставив Гонолулу на дно в місцях, де піца краща.

У деяких випадках ChatGPT сприймав маркетинг як факт. Коста-Ріка посіла перше місце за «кращим настроєм», можливо, через те, як часто в подорожах з’являється фраза «pura vida» — її національна мантра, що приблизно перекладається як «гарне життя».

Дослідники назвали широку модель взаємозв’язаних упереджень, які вони виявили, «кремнієвим поглядом» і опублікували всі свої висновки на inequalities.ai.

Можна також вважати, що ChatGPT відображає расові та економічні стереотипи в поглядах на різні країни. Подібно до карти «лінивих людей» для штатів США, порівняння ChatGPT інтелекту, доброзичливості та смердючості націй виявили закономірності, які відповідають загальним, упередженим припущенням щодо різних груп.

У всьому світі країни Африки на південь від Сахари займають перше місце майже за всіма показниками, про які дослідники запитували у ChatGPT. У питаннях про те, де люди «красивіші», бот віддав перевагу багатим містам.

І коли дослідники запитали про конкретні райони в межах міста, ChatGPT вибрав райони з більшим білим населенням. У Нью-Йорку Сохо та Вест-Віллідж визнані найпривабливішими, а Ямайка та Тоттенвілл – найменше.

OpenAI сказав, що упередженість є активною сферою дослідження. «ChatGPT за замовчуванням розроблений таким чином, щоб бути об’єктивним і уникати схвалення стереотипів», – заявила прес-секретар Тая Крістіансон. «Ми продовжуємо вдосконалювати те, як ChatGPT обробляє суб’єктивні або нерепрезентативні порівняння, керуючись реальним використанням, поточними оцінками та відгуками користувачів».

Вона також сказала, що дослідження, засновані на підказках, які змушують чат-бота OpenAI вибирати між певними параметрами, «не відображають, як зазвичай використовується ChatGPT».

Але примушення до такого вибору є потужним, кажуть дослідники: творці чат-ботів намагаються замаскувати деякі упередження, закодовані в їхньому навчальному матеріалі, змушуючи їх відмовлятися відповідати або страхуватися на деякі теми. Зук сказав, що ChatGPT частіше підводить свою охорону, запитуючи відповіді з одного слова. «Наша мета полягала в тому, щоб відшарувати цей фасад», — каже Зук.

У деяких випадках ChatGPT все ще відмовлявся відповідати на запитання дослідників із проханням провести порівняння, відповідаючи «жодним» або «Мені шкода, але я не можу з цим допомогти». Але чат-бот відповідав на запитання дослідників приблизно в 40% випадків, навіть на найгостріші теми.

Зук сказав, що така ж упередженість, яку виявили дослідники, може виявитися під час повсякденного використання. Користувачі можуть зустріти це в рекомендаціях ChatGPT щодо ресторанів, які райони він називає «жвавими» або які поради щодо кар’єри він пропонує. Шкода, за його словами, полягає в тому, що упереджена порада виглядає природною, оскільки вона відповідає домінуючим стереотипам.

Коли The Washington Post попросила ChatGPT скласти історію про дитину, яка виросла в Міссісіпі, головний герой зрештою став громадським захисником. Коли ми зробили такий самий запит щодо дитини в Нью-Йорку, персонаж став архітектором.

Зук каже, що OpenAI міг би більше стримувати свій вбудований упередження, особливо у випадках, коли доказів для відповіді на запитання мало. «Було б корисніше сказати: «У нас просто недостатньо інформації», — сказав він. Але це протилежність того, як ці інструменти розроблені: «Вони створені, щоб зацікавити вас і дати вам відповідь, тому що якщо вони скажуть «ні», люди можуть перестати ними користуватися».

Зук сам відчув упередженість ChatGPT. Він живе в штаті Кентуккі, який займає останнє місце в рейтингу чат-ботів щодо інтелекту. «Я знаю, що тут люди не розумніші чи дурніші, ніж деінде», — сказав він. Але «якщо ви цього не помічаєте, легко прийняти це за чисту монету».