Meta тихо будує власний пошуковий індекс, щоб її ШІ не питав Google

Десь у серверних логах по всьому вебу краулер під назвою Meta-WebIndexer тихо множився. З середини липня до 9 серпня його частка в трафіку відстежуваних ШІ-краулерів підскочила з приблизно 2% до майже 38% - зростання у 17 разів менш ніж за місяць, від одного бота, про який більшість власників сайтів досі й не чули. Робоча версія, підкріплена і даними сканування, і нібито внутрішнім повідомленням від співробітника Meta, - компанія будує власний веб-індекс, щоб її ШІ більше ніколи не доводилося питати відповідь у Google.

Що насправді показують дані сканування

Сервіси відстеження краулерів, що логують активність ШІ-ботів на великій вибірці сайтів, зафіксували, як Meta-WebIndexer виріс із незначної присутності до майже двох п'ятих усіх запитів ШІ-краулерів за лічені тижні. Це не патерн рутинного оновлення інфраструктури - це патерн компанії, що розгортає повністю нову операцію індексації й одразу дає їй працювати в масштабі. Технічно Meta сканує веб щонайменше з 2024 року під іншим агентом, Meta-ExternalAgent, і за цей час кілька власників сайтів повідомляли про незвично агресивний обсяг сканування - один допис на Hacker News назвав приблизно 50 000 звернень лише від цього бота.

Чому це може бути потрібно Meta

Логіка, описана в широко розповсюдженому свідченні розробника, до якого нібито напряму звернувся співробітник Meta, зводиться до залежності. Якщо Meta AI змушений проганяти веб-пошук через Google, щоб відповісти на запитання, Google бачить цей запит і потенційно отримує вигоду з даних взаємодії у спосіб, що допомагає моделям самого Google, а не Meta. Побудова незалежного індексу повністю прибирає цю залежність: Meta AI може шукати в вебі, генерувати відповідь і цитувати джерело, жодного разу не торкнувшись інфраструктури Google і не передавши Google сигнал про те, що запитують його користувачі.

Ця мотивація узгоджується з ширшим патерном у галузі. OpenAI, Perplexity та інші так само прагнули знизити залежність від результатів пошуку Google з тієї самої причини: контроль над шаром відповіді - і даними цитування, що йдуть із ним, - стає стратегічно так само важливим, як і сама базова модель.

Що це означає, якщо ви публікуєте контент

• З'явився новий краулер, який варто знати за іменем. Якщо ваш robots.txt блокує ШІ-краулери загалом чи за конкретним user agent, варто явно перевірити Meta-WebIndexer і Meta-ExternalAgent, а не припускати, що наявне правило вже їх охоплює.
• Новий незалежний індекс - це нова поверхня для цитування. Якщо Meta AI перестане проганяти запити через Google, добра індексація власним краулером Meta стає окремим, самостійним каналом видимості, окремо від хороших позицій у Google чи цитувань у ChatGPT.
• Фундаментальні речі не змінюються, змінюється лише поверхня. Чисті структуровані дані, сторінки, які можна сканувати, і контент, побудований так, щоб його можна було напряму процитувати, - це й досі те, що потрапляє в цитати, просто тепер потрібно задовольнити ще одного краулера з власним індексом, а не позичати чужий.

Ми вже писали про механіку того, як потрапляти в цитування, а не губитися, коли згенеровані ШІ відповіді забирають дедалі більше пошукової поведінки, у нашому попередньому огляді AI Overviews і GEO, і ті самі базові принципи діють і тут: яка б компанія зрештою не керувала індексом за ШІ-відповіддю, контент, що потрапляє в цю відповідь, і далі визначають ті самі технічні й структурні фундаментальні речі. Meta просто стає ще одним індексом, у якому варто бути видимим, поряд із Google.

Якщо ви не впевнені, чи ваш сайт добре сканується, чисто індексується й структурований так, щоб пережити читання машиною, а не людиною, - саме це покликаний ловити нормальний технічний SEO-аудит, незалежно від того, чий краулер прийде наступним.