304 Not Modified: небольшая настройка, которая может заметно разгрузить краулинг большого сайта

Google обновил рекомендации по управлению краулинговым бюджетом и прямо обратил внимание на HTTP-ответ 304 Not Modified для страниц, которые не менялись с прошлого визита робота.

Сама технология не новая. Но важен акцент: Google связывает корректную работу условных запросов не только с экономией трафика и ресурсов сервера, но и с более эффективным обходом сайта.

Для небольшого корпоративного сайта это редко станет главным SEO-приоритетом. Для большого e-commerce, маркетплейса, медиа, агрегатора или любого проекта с миллионами URL — уже вполне прикладная задача.

Что именно делает 304 Not Modified

Код 304 означает: робот уже запрашивал этот URL, у него есть сохранённая версия документа, а с момента предыдущего обхода контент не изменился. Поэтому серверу не нужно заново отдавать полное тело HTML-страницы.

Технически это работает через условные HTTP-запросы. Поисковый робот может передать сведения о ранее полученной версии — например, дату изменения или ETag. Если версия по-прежнему актуальна, сервер отвечает 304 без полной загрузки страницы.

Это отличается от ситуации, когда каждый запрос Googlebot получает обычный ответ 200 OK с полноценным HTML — даже если карточка товара, статья или листинг не менялись неделями.

Важный нюанс: 304 — не способ «спрятать» страницу от индексации и не отдельный SEO-сигнал ранжирования. Он не делает документ более релевантным сам по себе. Его роль — сделать повторный обход менее затратным.

Почему это становится заметно на крупных проектах

На сайте с несколькими тысячами URL лишняя передача HTML обычно не выглядит катастрофой. На проекте с десятками миллионов страниц математика быстро меняется.

Если значительная часть URL статична, а робот регулярно получает по ним полный ответ 200, сервер тратит ресурсы на генерацию и передачу контента, который Google уже видел. Особенно неприятно это для страниц, которые собираются динамически: товарные карточки, фильтры, комбинации параметров, региональные версии, архивы и листинги.

В обновлённых рекомендациях Google логика проста: если неизменившиеся документы отдаются легче, у робота и сервера остаётся больше возможностей для обхода новых и обновлённых страниц.

Мой комментарий: это очень прикольная тема именно для огромных сайтов. Я сейчас плотно работаю с проектом на 25 000 000+ страниц, и на таком масштабе даже небольшая неэффективность перестаёт быть «мелочью инфраструктуры». Она превращается в регулярную нагрузку, очереди на генерацию страниц и менее предсказуемый обход важных URL.

Но не стоит делать из 304 универсальную таблетку. Если на сайте медленный TTFB, бесконечные URL с параметрами, слабая внутренняя перелинковка или в sitemap лежат неканонические страницы, один правильный код ответа проблему не решит.

Где 304 даст наибольший эффект

В первую очередь стоит смотреть на типы страниц, которые часто обходятся, но редко меняются:

• старые статьи и справочные материалы;
• карточки товаров без изменения цены, наличия и характеристик;
• архивы и пагинация, если их содержимое стабильно;
• страницы брендов, категорий и регионов с редкими обновлениями;
• документы, генерируемые из базы, но фактически долго остающиеся одинаковыми.

При этом для URL с динамическими блоками нужна аккуратность. Например, страница товара может не менять описание, но регулярно обновлять цену, остаток, доставку или доступность. Если эти данные попадают в HTML и важны для пользователя и поиска, сервер не должен ошибочно возвращать 304.

Отдельная зона внимания — шаблоны с «шумными» изменениями. Счётчик просмотров, случайный порядок рекомендаций, текущая дата в футере, персональные виджеты или постоянно меняющийся технический параметр могут заставлять систему считать страницу новой при каждом запросе. В итоге 304 формально настроен, но почти никогда не используется.

Что проверить SEO- и технической команде

Начинать лучше не с массового включения логики на всём сайте, а с аудита.

Первое: понять, поддерживает ли сервер условные запросы и корректно ли формирует `Last-Modified` и/или `ETag`. Главное требование здесь не конкретный заголовок, а достоверность проверки версии документа.

Второе: проверить реальные ответы для повторных запросов. Недостаточно увидеть заголовок в конфигурации CDN или веб-сервера. Нужно убедиться, что для неизменившейся страницы при корректном условном запросе действительно приходит 304, а не 200 с полным HTML.

Третье: определить, что в вашей архитектуре считается изменением. Изменение title, основного текста, цены, наличия, canonical, robots-мета, структурированных данных — обычно повод отдать обновлённую версию. А вот техническая метка рендеринга сама по себе не должна сбрасывать кеш-валидность страницы.

Четвёртое: сегментировать URL. Для сайта на миллионы страниц разумно начать с одного стабильного типа — например, архивных материалов или давно не обновлявшихся товарных карточек. Затем измерить долю 304, нагрузку на origin, скорость ответа и динамику обхода в логах.

И пятое: не забыть о базовой гигиене, которую Google также выделяет в рекомендациях. Это скорость ответа сервера, отсутствие длинных цепочек редиректов, актуальные XML-sitemap и устранение soft 404. Экономить байты на повторном обходе полезно, но сначала не стоит заставлять робота обходить мусорные или проблемные URL.

Практический вывод

304 Not Modified — не «новый фактор SEO», а хороший инфраструктурный механизм, который Google теперь отдельно рекомендует учитывать при работе с краулинговым бюджетом.

Для большинства небольших сайтов это задача не первого порядка. Там чаще важнее индексируемость, качество контента, технические ошибки, структура и скорость ключевых страниц.

Для крупных проектов подход другой: каждый повторно отданный без необходимости HTML-документ — это часть ресурсов, которые могли бы пойти на обход свежих карточек, новых разделов и реально изменившихся страниц.

Практический следующий шаг: выберите один массив стабильных URL, проверьте условные запросы на уровне CDN, приложения и логов сервера, а затем оцените эффект в цифрах. На масштабе в миллионы страниц корректный 304 может оказаться не косметической оптимизацией, а вполне заметной частью стратегии управления обходом.