“Більше веб -сайтів, включаючи Вікіпедію та академічні архіви, примушуються до AI Freeloaders, які беруть за собою їх інформацію. Вони відбиваються.”, – Напишіть: www.washingtonpost.com
Близько 13 мільйонів разів за місяць веб -сайт відвідував не люди, а автоматизоване програмне забезпечення AI компанії, яке повзало над сайтом, як цифрові арахніди, щоб отримати інформацію про програму AI.
Лише близько 600 фактичних людей були залучені на спортивний сайт внаслідок інформації, що висмоктується ботами або гусеницями, як часто називають автоматизованими програмами, за словами паніграгі, співзасновника та генерального директора Tollbit, який допомагає веб-сайтам відстежувати AI-сканер.
Вони кажуть, що гусениці, які діють як вимогливі родичі, які завищували відвідування вихідних, забивають веб -сайти з додатковим трафіком та витратами, які вони не можуть нести та доставляти мало взамін, наприклад, звичних читачів, які можуть принести дохід або іншу цінність для веб -сайтів.
Зараз зростає боротьба між AI -сканерами та людьми, які їх ненавидять, які використовують агресивні технології та фінансові вимоги до удару. Цей бій допоможе вирішити, чи є місце як для AI, так і для веб -сайтів, на які ви покладаєтесь.
Чому веб -сайти хитаються з приводу AI -сканерів
Боти десятиліттями були Інтернет -кріпленням. Самоліки Google регулярно захоплюють частини веб -сайтів, щоб організувати інформацію в результатах пошуку. Сузірки Інтернет -архіву з часом зберігають знімки веб -сайтів, щоб каталогізувати історію Інтернету.
Власники веб -сайтів мають яловичину з тими автоматизованими програмами, але зокрема Google Crawlers, як правило, вважаються взаємовигідними відносинами: веб -сайти Google Crawls та каталогів для подачі пошукової системи, а на поверхні веб -сайти знаходять мільярди людей, які користуються пошуком Google.
Але експерти стверджують, що AI повзання – що вибухнуло після публічного дебюту Чатгпта 2022 року, який розпочав бум AI – є більш проблематичним у двох способах.
По -перше, деякі веб -сайти сумніваються, що вони отримають користь від AI -сканерів, які захоплюють свою інформацію, щоб «тренувати» AI або відповісти на запитання людей. По -друге, багато веб -сайтів кажуть, що сканери компанії AI діють як непередбачувані жадібні ривки способами, які можуть порушити веб -сайти або збільшити їх витрати.
Майкл Вайнберг, спів-директор лабораторії Glam-E, яка працює з музеями, академічними архівами та іншими культурними установами, заявив, що традиційні сканери, такі як пошук Google, зазвичай SIP-дози інформації про веб-сайти в досить регулярних проміжках часу та поєднуються з людськими користувачами.
На відміну від цього, AI -сканери можуть отримати купу тексту, зображень та відео для завантаження з веб -сайту протягом декількох хвилин або годин.
Як результат, деякі культурні організації раптом знайшли свої веб -сайти, напружені або розбиті через рої AI сканера, Вайнберг детально описаний у червневому звіті. Наприклад, Університет Північної Кароліни на Chapel Hill, нещодавно, сказав, що AI -сканери в п’ять разів більше разів провели звичайну кількість одночасних пошуків свого онлайн -каталогу бібліотек, “перевантаження системи та запускання глюків”.
Навіть один з найпопулярніших веб -сайтів у світі, Вікіпедія, заявив у квітні, що величезний приріст відвідувань AI -сканерів змусив сайт витратити більше грошей та ящиків, щоб залишатися в Інтернеті для користувачів.
“Велика кількість трафіку, що утворюється сканерами, спричиняє напругу в основній інфраструктурі, яка підтримує наші сайти доступними для всіх”, – заявив прес -секретар Фонду Wikimedia, некомерційну організацію, яка здійснює нагляд за Вікіпедією.
Ай -сканери проти блокаторів гусениць
Ерік Холшер, співзасновник Read The Docs, онлайн-проект для розробників програмного забезпечення, перегукується з багатьма іншими власниками веб-сайтів, сказавши, що його найбільші занепокоєння щодо сканерів AI-це справедливість та виживання.
“Якщо дані просто використовуються для [AI] Навчання або узагальнення у відповідях, немає можливості підтримувати видавця, якщо вони не отримають трафік », – сказав Холчер електронною поштою.
Генеральний директор Tollbit заявив, що на веб -сайті спорту, який мав 13 мільйонів щомісячних відвідувань AI Crawler, також було 15 мільйонів відвідувань пошуку в Google в тому ж місяці. Але він сказав, що мільйони людей знайшли спортивний веб -сайт в результаті гусениць Google, порівняно з 600 від AI -сканерів.
Битва з AI -сканерами досягла такої точки розриву, що більше веб -сайтів використовують технологію для блокування або плутанини AI -сканерів. Деякі компанії AI також погодилися платити веб -сайти за активність AI. (Washington Post має контент -партнерство з власником Chatgpt OpenAI.)
CloudFlare, яка допомагає мільйонам веб -сайтів керувати своїм онлайн -трафіком, заявив у вівторок, що тепер він може автоматично блокувати або обмежувати AI -сканерки для своїх клієнтів веб -сайту. Cloudflare та Tollbit також дозволяють веб-сайтам спорудити лише платіжні стіни, які вимагають, щоб сканери платять або виходять.
Деякі власники веб -сайтів та Ай -бекери кажуть, що ненависть гусениця зайшла занадто далеко.
Річ Скрента, виконавчий директор Фонду Common Crawl, який здійснює нагляд за відкритим сховищем інформації про повзання веб -сайтів для ШІ та інших цілей, заявив, що знадобиться час та спільні зусилля, щоб зрозуміти, як веб -сайти можуть отримати користь від допомоги в чатах та системах. Веб -сайти можуть пошкодувати, що блокують AI -сканери, а не експериментувати з тим, як заробляти гроші на людей, які використовують AI як новий тип веб -пошуку, сказав він.
Але люди, що стоять за інформацією та розвагами в Інтернеті, кажуть, що зараз щось повинно змінитися з AI -сканерами.
“Якщо видавці хочуть процвітати, ми повинні знайти рішення, яке є взаємовигідним для обох сторін”, – сказав Паніграгі.