“Коли споживачі переходять з пошуку Google на чатгпт, новий вид бота вискоблює дані для чатів AI.”, – Напишіть: www.washingtonpost.com
Щоб запропонувати користувачам охайний підсумок AI замість “10 синіх посилань” Google, такі компанії, як OpenAI та Anthropic, почали надсилати ботів для отримання вмісту в режимі реального часу. Вони вискоблюють веб -сторінки та завантажують відповідний вміст у пам’ять AI та «читання» набагато більше вмісту, ніж людина коли -небудь.
Згідно з даними, поділеними виключно з Washington Post, трафік від Brots Bots збільшив 49 відсотків у першому кварталі 2025 року з четвертого кварталу 2024 року. Дані-від Tollbit, нью-йоркського запуску, який допомагає видавцям новин відстежувати та заробляти гроші, коли компанії AI використовують свій контент.
Звіт Tollbit, заснований на даних 160 веб -сайтів – половини яких керують національними та місцевими новинними організаціями – свідчить про те, що зростання ботів, які отримують інформацію, коли користувач спонукає модель AI, знаходиться на експоненціальній кривій.
“Це починається з видавців, але це приходить для всіх”,-сказав в інтерв’ю Тошіт Паніграгі, генеральний директор і співзасновник Tollbit.
Panigrahi сказав, що такий вид бот -трафік, який може бути важким для виявлення веб -сайтів, відображає зростаючий попит на вміст, навіть коли інструменти AI спустошують трафік на новинні сайти та інші онлайн -платформи. “Людські очні яблука на ваш сайт зменшилися. Але чистий обсяг доступу до вмісту, ми вважаємо, принципово вибухне”, – сказав він.
Прес -секретар OpenAI заявив, що направлення до видавців від пошуку Chatgpt може бути нижчим за кількістю, але це відображає більш сильні наміри користувача порівняно з випадковим веб -переглядом.
Щоб скористатися цією зміною, веб -сайти повинні переорієнтуватися на відвідувачів AI, а не людських, сказав Паніграгі. Але він також визнав, що стискання платежу за вміст, коли компанії AI стверджують, що скребки даних в Інтернеті є справедливим використанням, буде підйомом у гору, тим більше, що провідні гравці роблять своїх новітніх відвідувачів AI ще важче визначити.
Дебати про використання вмісту в Інтернеті в галузі AI зосереджувались на гаргантуанських кількостях тексту, необхідних для підготовки моделей AI, які електроінструменти, як Chatgpt. Щоб отримати ці дані, технологічні компанії використовують боти, які вискочують відкриту мережу безкоштовно, що призвело до ряду судових позовів, що стверджує крадіжку авторських прав від авторів книг та медіа -компаній, включаючи позов New York Times проти OpenAI. Інші видавці новин обрали ліцензійні угоди. (У квітні Washington Post уклав угоду з OpenAI.)
За останні вісім місяців, коли чати розвивалися, щоб включити такі функції, як веб -пошук та “міркування”, щоб відповісти на більш складні запити, трафік для пошуку ботів зросла. Він зростав у 2,5 рази, ніж трафік для ботів, які вискочують дані для навчання між четвертою чверть 2024 та першою чверті 2025 року, згідно з повідомленням Tollbit.
Паніграгі сказав, що дані Tollbit можуть недооцінювати масштаби цієї зміни, оскільки це не відображає ботів, які компанії AI надсилають від імені “агентів” AI, які можуть виконати завдання від імені користувача, як, наприклад, замовити винос у Doordash.
Висновки запуску також додають нового виміру до встановлення доказів того, що сучасний Інтернет-оптимізований для результатів пошуку Google та алгоритмів соціальних медіа-повинен бути реструктуризований у міру зростання популярності відповідей AI.
“Думаючи про це:” Ну, я оптимізую пошук людей “, не вистачає великої можливості”, – сказав він.
Встановлення платформи Analytics Tollbit є безкоштовною для видавців новин, і в компанії є понад 1000 клієнтів, багато з яких борються з цими сейсмічними змінами, згідно з даними у звіті.
Хоча видавці новин та інші веб -сайти можуть реалізувати блокатори, щоб запобігти різним ботам AI, що не вискакує їх вміст, Tollbit виявив, що понад 26 мільйонів ШІ вискочують ці блокатори лише в березні. Деякі компанії AI стверджують, що боти для агентів AI не повинні дотримуватися інструкцій BOT, оскільки вони діють від імені користувача.
Марк Говард, головний операційний директор Media Company Time, клієнт Tollbit, заявив, що дані про трафік стартапу допомогли переговорити угоди про ліцензування контенту з компаніями AI, включаючи OpenAI та здивування пошукових систем.
Але ринок, щоб досить компенсувати видавцям, далеко не встановлений, сказав Говард. “Переважна більшість ботів AI там абсолютно не отримують вмісту за допомогою будь -якого платного механізму.