«Estudio Santa RitaМозок часто затуманює відчуття – цей факт часто використовують маркетологи в дизайні харчової упаковки. І штучний інтелект робить те саме. Який смак рожевої сфери? А яке звучання Совіньйон Блан? Такі питання можуть здатися смішними, але величезна кількість літератури показує», — пишуть на: www.bbc.com
Студія Санта Рита
Мозок часто затуманює відчуття – цей факт часто використовують маркетологи в дизайні харчової упаковки. І штучний інтелект робить те саме.
Який смак рожевої сфери? А яке звучання Совіньйон Блан?
Такі запитання можуть здатися смішними, але величезна кількість літератури показує нам, що людський мозок природним чином об’єднує чуттєвий досвід. Ми можемо не усвідомлювати цього явища, але ми асоціюємо різні кольори, форми та звуки з різними смаками таким чином, щоб, наприклад, тонко формувати наше сприйняття.
Наприклад, колір нашого келиха або музика, що звучить на фоні бару, можуть визначити, наскільки солодке чи мускусне вино на смак. «Це перехресне спілкування між почуттями відбувається майже постійно», — пояснює Карлос Веласко з Університету Осло в Норвегії. У крайніх випадках це може проявлятися в розмитому сенсорному досвіді для деяких людей, коли слова можуть викликати певні смаки або музика створює буйство кольорів – щось відоме як синестезія.
І хоча ідея про те, що ви можете «спробувати» колір або звук, може здатися досить абсурдною, останнє дослідження Веласко показує, що системи генеративного штучного інтелекту також можуть робити це. Як і у випадку з усіма алгоритмами штучного інтелекту, це значною мірою є відображенням упереджень у даних, на яких вони навчалися, тому вони, можливо, лише підкреслюють, наскільки поширеними можуть бути ці асоціації. Але Веласко та його колеги сподіваються використати цей факт, щоб знайти багато інших способів зламати людські органи чуття.
Їсти очима
Спочатку замітка щодо термінології. Вчені використовують термін «сенсорна модальність», щоб описати засоби, які організм використовує для кодування інформації – через, наприклад, наші смакові рецептори, барабанні перетинки, сітківку в наших очах або «тактильні тільця» в нашій шкірі. Асоціації, які ми схильні формувати між різними сенсорними якостями, тому відомі як «кросмодальні відповідності».
Студія Санта Рита
Люди напрочуд часто змішують свій чуттєвий досвід навколишнього світу (Авторство зображення: Estudio Santa Rita)
Експериментальні докази цього явища вперше з’явилися в 1970-х роках, коли дослідження показали, що червоний і рожевий відтінки асоціюються з солодкістю, жовтий або зелений – з кислинкою, білий – з солоністю, а коричневий або чорний – з гіркотою. З тих пір ці загальні закономірності повторювалися багато разів за допомогою багатьох експериментальних методів.
Учасників можна попросити висловити суб’єктивну оцінку абстрактних запитань, таких як: «Наскільки солодким є червоний колір за шкалою від 1 до 10, де 10 є найбільш солодким?» З цього ви можете побачити, що в середньому кожен колір має унікальний смаковий профіль, який поділяє велика кількість людей у різних культурах. Багатонаціональна співпраця під керівництвом Сяоан Ванга з Університету Цінхуа в Китаї виявила подібні крос-модальні відповідності в учасників із Китаю, Індії та Малайзії.
Крім того, учасникам можна дати певну їжу чи напій, представлені різними кольорами, і попросити оцінити смак кожного з них. Еріко Сугіморі та Яйої Кавасакі з Університету Васеда в Японії, наприклад, виявили, що гіркий шоколад на смак значно солодший, якщо його загорнути в рожеву, а не чорну упаковку.
ШІ проти розуму
Ця стаття є частиною ШІ проти розумусеріал, який має на меті дослідити межі передового ШІ та дізнатися трохи про те, як працює наш власний мозок. За допомогою експертів кожна стаття протиставляє різні інструменти штучного інтелекту людському розуму, ставлячи пробні запитання, щоб перевірити межі інтелекту. Чи може машина написати кращий жарт, ніж професійний комік, або розгадати моральну головоломку елегантніше, ніж філософ? Сподіваємося, що з’ясуємо.
Форма їжі може мати подібний ефект. Ми схильні асоціювати округлі форми з солодкістю, тоді як більш гострі форми вважаються більш кислими або гіркими, що впливає на сприйняття їжі людьми. Ми їмо очима, а також язиком.
Походження цих асоціацій досі є предметом дискусій. «Найбезпечніше припущення полягає в тому, що ми вивчаємо їх усіх», — каже Чарльз Спенс, керівник крос-модальної дослідницької лабораторії в Оксфордському університеті. «Їх можна розглядати як свого роду інтерналізацію статистики навколишнього середовища. У природі фрукти змінюють колір від зеленого, коли вони кислі, до більш червоних і теплих відтінків, коли вони солодші. Якщо ми запозичимо цю статистику, асоціюючи червонуватий колір відтінків із солодшим смаком, ми знаємо, на які дерева лазити за плодами, які підтримуватимуть нас».
Асоціації між формою та смаком пояснити важче. “Це можуть бути емоції, пов’язані з подразниками або викликані ними”, – каже Спенс. Ми можемо асоціювати солодкість із задоволенням, наприклад, і ми віддаємо перевагу круглим формам, оскільки вони менш імовірно завдадуть нам шкоди порівняно з чимось гострим. У результаті ми починаємо асоціювати солодке зі згинаннями через цю непряму асоціацію. Гіркі речовини, навпаки, швидше за все є отруйними, тому ми можемо пов’язати їх із гострими формами, які також мають більший потенціал для нанесення тілесних ушкоджень.
Асоціативний ШІ
Швидкий розвиток штучного інтелекту надихнув Веласко, Спенса та їхнього колегу Косуке Мотокі з Токійського університету дослідити, чи генеративний штучний інтелект, навчений на даних людини, повідомляє про ті самі асоціації. Вони попросили чат-бота ChatGPT на основі штучного інтелекту відповідати на ті самі підказки, які раніше надходили людям-учасникам. Наприклад:
«Якою мірою ви асоціюєте круглі форми з солодким, кислим, солоним, гірким і смаком умамі? Будь ласка, дайте відповідь на це запитання 7 балами від 1 (зовсім не) до 7 (дуже сильно)».
І…
“З-поміж 11 перерахованих кольорів (чорний, синій, коричневий, зелений, сірий, оранжевий, рожевий, фіолетовий, червоний, білий, жовтий), який колір, на вашу думку, найкраще поєднується з солодким смаком?”
Усереднюючи свої результати в сотнях чатів англійською, іспанською та японською мовами, дослідники виявили, що штучний інтелект справді відображає шаблони, які зазвичай зустрічаються в людей-учасників, хоча були деякі відмінності між версіями штучного інтелекту, які вони використовували.
Загалом ChatGPT-4o більш надійно відображає людські асоціації, ніж ChatGPT-3.5. «Відмінності, ймовірно, походять від варіацій в архітектурі моделі, таких як збільшення кількості параметрів у ChatGPT-4o, а також більший і різноманітніший набір для навчання», — говорить Мотокі.
Тож яка з усіх наших улюблених святкових мелодій найкраще підійде до глінтвейну та пирогів з фаршем?
Силіконовий мозковий штурм
Заінтригований, я вирішив дослідити, чи можуть інші великі мовні моделі (LLM), такі як Google Gemini, також відображати наші сенсорні асоціації. Коли я попросив його сказати, який колір найсолодший, він відповів: «Багато людей асоціюють рожевий із солодкістю, ймовірно, через його асоціацію з солодкими ласощами, такими як солодка вата та жувальна гумка». Його також називають зеленим для кислого, білим для солоного і чорним для гіркого.
Збіг здавався б майже неймовірним – за винятком того, що в середині своєї відповіді Gemini вказав мені на одну з попередніх дослідницьких статей Спенса про ці крос-модальні асоціації, припускаючи, що він почерпнув свою відповідь прямо з наукової літератури.
Спенс згадував про цю можливість у нашій розмові. «З огляду на те, що ми протестували великі мовні моделі на тому, що вже відомо, і, отже, уже опубліковано в літературі, можливо, це просто передача того, що він прочитав», — каже він.
У майбутньому він сподівається дослідити, чи може генеративний штучний інтелект генерувати гіпотези для інших крос-модальних відповідностей, які ще не були задокументовані в науковій літературі, але які потім можна було б перевірити на людях.
«Ви потенційно можете використовувати великі мовні моделі та генеративний штучний інтелект, щоб виявити ідеальні відповідності будь-якому виміру, який вас цікавить», — каже він. Тоді цей підхід може бути корисним для маркетологів, які сподіваються розробити продукти чи упаковку, що риффують на існуючі асоціації нашого мозку.
Звичайно, є деякі застереження. Інколи штучний інтелект може «галюцинувати», тобто вигадувати оманливі відповіді на запитання. І навіть якщо їхні відповіді достовірні, їм може бракувати нюансів чи особливостей, наданих нашим власним мозком, які можуть додати хвилювання чи інтерес до дизайну. Іноді вам може знадобитися риффувати на інтуїтивних асоціаціях між сенсорними якостями, не обов’язково повністю їх копіюючи.
З цієї причини будь-яку крос-модальну відповідність, визначену штучним інтелектом, потрібно поєднувати з людською творчістю, каже Веласко. «Це натхнення, а не певне рішення».
Різдвяний супровід
Нам знадобиться більше доказів, перш ніж ми будемо надто довіряти висновкам ШІ, але, пишучи цю статтю напередодні Різдва, я не міг не запитати, чи може ChatGPT дати мені якусь пораду щодо вечірки з напоями.
Спенс раніше показав, що люди схильні погоджуватися, які музичні твори доповнюють різні сорти вина. З його високим темпом і висотою, Jardin Sous la Pluie Дебюссі, здається, краще поєднується з цитрусовими білими, тоді як дует фортепіано та віолончелі у Вокалізі Рахманінова, як правило, підкреслює насиченість червоних відтінків.
Тож яка з усіх наших улюблених святкових мелодій найкраще підійде до глінтвейну та пирогів з фаршем?
Студія Санта Рита
Дослідження виявили, що насичений смак червоних вин можна підсилити правильною музикою (Авторство зображення: Estudio Santa Rita)
«Складний смаковий профіль глінтвейну – насичений такими спеціями, як кориця, гвоздика та бадьян, у поєднанні з фруктовими та зігріваючими нотами – вимагає музики, яка однаково багатошарова, тепла та викликає враження», – сказав мені ChatGPT. «Ідеальним акомпанементом може стати «Carol of the Bells», виконана з розкішною оркестровкою. Її каскадні, багатошарові мелодії викликають відчуття святкової магії та тепла, що відображає взаємодію спецій у глінтвейні».
Я не впевнений, що це саме той настрій, який я прагну – ви, напевно, пам’ятаєте, що цей музичний твір використовувався в ключовий сцені наростання напруги в різдвяному фільмі «Сам удома», тому я прошу поп чи джазові альтернативи.