Ошибка 404 на 1С-Битрикс: почему несуществующая страница не должна отдавать 200 OK

Практический материал
Ошибка 404 на 1С-Битрикс: почему несуществующая страница не должна отдавать 200 OK

Страница удалена. Пользователь открывает старый адрес и видит аккуратное сообщение: «Страница не найдена».

Кажется, что 404 настроена правильно.

Но если посмотреть HTTP-ответ сервера, там может оказаться:

200 OK.

Для человека страница выглядит как ошибка. Для поискового робота сервер только что сообщил: запрос успешно обработан, страница существует.

Именно поэтому при технической диагностике сайта недостаточно посмотреть на экран. Нужно отдельно проверить то, что видит пользователь, и то, что сервер сообщает поисковой системе.

HTTP-код — что именно отвечает сервер

Когда браузер или поисковый робот запрашивает URL, сервер возвращает не только HTML страницы, но и HTTP-статус.

Для этой темы достаточно понимать несколько основных вариантов.

200 OK

Запрос успешно обработан.

Для Google ответ 200 означает, что полученное содержимое может быть передано дальше на обработку и потенциальное индексирование. При этом сам код 200, конечно, не гарантирует попадания в индекс.

301 Moved Permanently

Ресурс постоянно переехал на другой URL.

И Google, и Яндекс рассматривают 301 как постоянное перенаправление. Оно подходит, когда у старой страницы действительно есть новая постоянная замена.

302 Found

Временное перенаправление.

Яндекс рекомендует использовать его именно для временных сценариев, например обслуживания или временной замены страницы. Google также обрабатывает 302 как временный redirect-сигнал.

404 Not Found

Запрошенный ресурс не найден.

Для обычного URL, которого не существует, это нормальный технический ответ.

Google отдельно подчёркивает, что корректные 404 сами по себе не вредят индексированию или ранжированию сайта. Если страница действительно не должна существовать, исправлять сам факт 404 не требуется.

410 Gone

Ресурс намеренно и окончательно удалён.

Google для целей поиска сейчас обрабатывает 404 и 410 одинаково. Яндекс семантически разделяет их: 404 — ресурс не найден, 410 — ресурс удалён окончательно. Поэтому 410 можно использовать там, где это действительно отражает состояние документа, но считать его универсально «лучше 404» не стоит.

5xx

Это уже серверная ошибка.

Например, 500 означает внутреннюю ошибку сервера, 502 — проблему шлюза, 503 — временную недоступность сервиса.

Если страница должна существовать, но PHP-код падает, база данных недоступна или сервер не может сформировать ответ, это не 404. Маскировать такую ситуацию красивой страницей «Не найдено» неправильно: причина совершенно другая. Google при 5xx может снижать интенсивность обхода, а Яндекс также рассматривает эти коды как серверные ошибки.

Как выглядит неправильная 404

Представим URL:

/catalog/ne-sushestvuyushchiy-tovar/

Элемента с таким символьным кодом в каталоге нет.

Пользователь видит:

«Товар не найден».

Но сервер отвечает:

200 OK.

На уровне дизайна всё выглядит логично.

На уровне протокола сайт говорит:

«Страница успешно существует».

Google называет подобные ситуации soft 404, когда URL возвращает успешный код, но содержимое фактически сообщает об отсутствии страницы или не содержит ожидаемого основного контента. Алгоритмы Google могут самостоятельно определить такой URL как soft 404 и показать соответствующий статус в Search Console.

Важно не переворачивать это правило.

Не каждый слабый или короткий документ с 200 автоматически станет soft 404. Google оценивает фактическое содержимое и состояние страницы.

Но если сайт явно пишет «Страница не найдена» и одновременно отдаёт 200, техническая ошибка уже существует независимо от того, как именно Google её классифицирует.

Почему 200 на отсутствующей странице — плохой сигнал

Проблема не в самом числе 200.

Проблема в противоречии.

Содержимое сообщает:

«Такого ресурса нет».

HTTP-ответ сообщает:

«Ресурс успешно получен».

Поисковой системе приходится самостоятельно разбираться, что на самом деле произошло.

Яндекс прямо выделяет ситуацию, когда сайт не возвращает 404 для несуществующих страниц, как техническую проблему. В документации указано, что робот может считать такие URL действующими, из-за чего способны возникать дубли и лишняя нагрузка на обход.

Поэтому корректный статус — это не «SEO-трюк». Это нормальное описание результата запроса.

Почему не стоит отправлять любую 404 на главную

Другая крайность выглядит так:

несуществующий URL → 301 → главная страница.

Технически ошибка 404 исчезает.

Но появилась другая проблема.

Если пользователь запросил:

/catalog/staryy-tovar/

а получил главную страницу магазина, эти документы не являются прямой заменой друг другу.

Google прямо предупреждает, что перенаправление несуществующих страниц на главную вместо корректного 404/410 может приводить к soft 404. Если контент действительно переехал или существует явная замена, тогда 301 является нормальным решением.

То есть сначала нужно определить смысл ситуации.

Страница переехала

Был старый URL:

/catalog/old-product/

стал новый:

/catalog/new-product/

Если это тот же материал или его явная полноценная замена, постоянный redirect логичен.

Страница больше не существует

Товар удалён, материала больше нет и прямой замены тоже нет.

В такой ситуации корректный 404 или 410 обычно честнее, чем искусственное перенаправление на главную.

У Яндекса рекомендации в отдельных сценариях немного отличаются: при изменениях структуры он допускает 301 на близкий тематический раздел или аналогичный материал. Но это всё равно предполагает наличие действительно релевантного назначения, а не безусловное перенаправление любого отсутствующего URL на главную.

404 или 410

Практически этот вопрос часто переоценивают.

Google сейчас прямо пишет, что 410 обрабатывается так же, как 404. Для удалённого контента без замены подходят оба статуса.

Яндекс формулирует различие более буквально:

  • 404 — ресурс не найден;

  • 410 — ресурс окончательно удалён.

Поэтому для случайного несуществующего адреса, ошибки в URL или отсутствующего элемента обычный 404 естественен.

410 имеет смысл применять там, где система действительно знает: этот конкретный ресурс существовал и намеренно удалён окончательно.

Но строить отдельную сложную логику только ради того, чтобы заменить все 404 на 410, обычно не требуется.

Дизайн страницы 404 всё равно важен

Технический статус решает задачу поискового робота.

Но на сайт приходит человек.

Хорошая 404-страница должна не просто сообщить об ошибке, а помочь продолжить работу с сайтом.

Например:

  • объяснить, что запрошенная страница не найдена;

  • оставить нормальное меню;

  • предложить перейти на главную;

  • дать ссылку на каталог или основные разделы;

  • предоставить поиск по сайту, если он действительно полезен;

  • не создавать впечатление аварии всего сайта.

Google отдельно рекомендует делать пользовательскую 404 полезной: сохранять общий дизайн сайта, навигацию и ссылки на востребованные разделы. Но при этом сервер всё равно должен вернуть настоящий 404.

Получается две независимые задачи:

для поисковой системы — корректный HTTP-статус;

для посетителя — нормальный интерфейс.

Нужно решить обе.

Где 404 ломается на 1С-Битрикс

На 1С-Битрикс обработка URL может проходить через несколько уровней.

Поэтому ошибка не всегда находится непосредственно в файле 404.php.

Проверять приходится:

  • маршрутизацию;

  • urlrewrite.php;

  • .htaccess или конфигурацию nginx;

  • настройки комплексных компонентов;

  • собственные компоненты;

  • обработку ЧПУ;

  • сторонние модули;

  • собственные редиректы;

  • ситуацию, когда компонент не нашёл элемент или раздел.

Официальная документация 1С-Битрикс подтверждает, что urlrewrite.php используется для обработки виртуальных адресов: URL может не существовать физически на сервере, но быть передан нужному PHP-скрипту или компоненту.

Поэтому простой запрос несуществующего файла и запрос несуществующего элемента внутри каталога могут пройти совершенно разными путями.

Особый случай: компонент работает, элемента нет

Для 1С-Битрикс это один из самых полезных тестов.

Допустим, есть рабочий каталог:

/catalog/

Маршрутизация корректно передаёт запрос комплексному компоненту.

Пользователь открывает:

/catalog/tovar-kotorogo-net/

Сам компонент запускается нормально.

Шаблон сайта формируется.

Но элемента с таким символьным кодом нет.

При неправильной реализации страница может закончить работу обычным 200 и просто написать внутри:

«Элемент не найден».

Официальная документация 1С-Битрикс отдельно описывает настройки компонентов для такой ситуации: можно устанавливать статус 404 и показывать специальную страницу ошибки, если раздел или элемент инфоблока не найден. В D7 также существует штатный метод Tools::process404, который среди прочего умеет устанавливать статус 404 Not Found.

Это хороший пример того, почему одной глобальной страницы 404.php недостаточно.

Ошибка может возникать уже внутри работающего динамического маршрута.

Что делает штатная 404 в 1С-Битрикс

В официальном примере стандартного 404.php 1С-Битрикс не просто выводит дизайн страницы.

В нём отдельно устанавливается:

404 Not Found

и определяется состояние ERROR_404.

То есть сама CMS архитектурно разделяет отображение страницы ошибки и HTTP-статус.

Из этого не следует, что любой проект должен буквально копировать стандартный файл.

На реальном сайте могут быть nginx, кастомная маршрутизация, свои компоненты и другой шаблон.

Но принцип остаётся тем же:

текст «404» в HTML не заменяет HTTP-ответ 404.

Проверить один случай недостаточно

На динамическом сайте я бы не ограничивался запросом:

/qwerty123456/

Он проверяет только один маршрут.

Полезно отдельно открыть:

  • полностью случайный несуществующий URL;

  • отсутствующий элемент каталога;

  • отсутствующий раздел;

  • старую удалённую страницу;

  • URL с неправильным символьным кодом;

  • при необходимости — несуществующий параметризованный URL.

Например, глобальный обработчик может правильно вернуть 404 для /qwerty/, а компонент каталога для отсутствующего товара продолжит отдавать 200.

И наоборот.

Поэтому проверка должна охватывать реальные типы маршрутов сайта.

Браузер показывает страницу, но этого мало

Открыть URL и посмотреть на него глазами — только первая половина проверки.

Нужно увидеть фактический ответ сервера.

Инструменты разработчика браузера

Вкладка Network позволяет посмотреть запрос документа и его HTTP-статус.

Для быстрой ручной проверки этого часто достаточно.

curl

Командная строка позволяет получить HTTP-заголовки без оценки дизайна страницы.

Для владельца сайта знать команды необязательно. Важен сам принцип: проверяем ответ сервера, а не надпись в браузере.

Google Search Console

URL Inspection позволяет проверить отдельный URL, выполнить live test и посмотреть данные о фактически полученной странице. Для ранее обработанных URL доступны также HTTP-заголовки из сохранённого обхода.

Яндекс Вебмастер

У Яндекса есть инструмент «Проверка ответа сервера». Он показывает HTTP-код и позволяет проверить доступность страницы для выбранного робота.

Для диагностики 404 это намного надёжнее, чем просто увидеть красивую страницу ошибки.

Не маскировать серверные сбои под 404

Допустим, карточка товара существует.

Но запрос к базе данных закончился ошибкой.

Или PHP выбросил исключение.

Или внешний сервис, от которого зависит страница, перестал отвечать.

Если в такой ситуации сайт показывает пользователю шаблон «Страница не найдена» и возвращает 404, диагностика становится сложнее.

Ресурс не исчез.

Сайт не смог его сформировать.

Это принципиально разные причины.

Корректные 5xx помогают отличить серверную проблему от отсутствующего ресурса. Google при 5xx временно снижает интенсивность обхода и игнорирует содержимое такого ответа, а Яндекс использует эти статусы как признаки серверных ошибок.

Поэтому обработчик ошибок не должен превращать любую проблему сайта в универсальный 404.

Что делать с удалённым URL в Sitemap

Если страница удалена и стабильно возвращает 404, её уже не стоит продолжать передавать поисковой системе как актуальную страницу сайта.

Google рекомендует включать в Sitemap URL, которые владелец хочет видеть в результатах поиска. Также Google отдельно советует обновлять Sitemap, если в нём находится URL, который уже был удалён или перемещён.

Яндекс описывает Sitemap как представление актуальной структуры сайта и рекомендует включать туда значимые страницы.

Один случайный 404 в Sitemap не означает катастрофу.

Но если файл продолжает системно перечислять удалённые страницы, это уже признак того, что карта сайта не соответствует реальному состоянию проекта.

404 сама по себе нормальна, битая внутренняя ссылка — уже другая проблема

Очень важно не сделать из статьи вывод:

«На сайте не должно быть ни одной 404».

Это невозможно и не нужно.

Кто-то может вручную набрать несуществующий адрес.

На сайт могут вести старые внешние ссылки.

Робот может встретить URL, которого никогда не существовало.

Google прямо говорит, что обычные корректные 404 сами по себе не вредят поисковым показателям сайта.

Но если действующие страницы сайта сами постоянно ссылаются на отсутствующие URL, это уже проблема архитектуры.

Проверять стоит:

  • меню;

  • старые статьи;

  • каталоги;

  • карточки товаров;

  • хлебные крошки;

  • изображения и файлы;

  • ссылки, которые генерируют компоненты.

В этом случае исправлять нужно не 404 как ответ сервера, а источник битой ссылки.

Практика SEOCoder: почему HTTP-проверка вынесена отдельно

При разработке собственного read-only инструмента диагностики SEOCoder Healthcheck версии 1.0.0 я вынес проверку HTTP-ответов и поведения 404 в отдельный блок.

Причина как раз в описанной выше ситуации: по внешнему виду страницы невозможно надёжно определить, какой ответ получил робот.

Healthcheck не исправляет сайт автоматически и не является полноценным SEO-аудитом. Его задача на этом этапе — безопасно собрать и первично систематизировать технические данные, которые затем можно интерпретировать при диагностике сайта.

Практический алгоритм проверки 404 на 1С-Битрикс

Перед сдачей сайта или при технической диагностике я бы прошёл следующую последовательность.

  1. Создать заведомо несуществующий URL и открыть его.

  2. Проверить, что пользователь получает понятную страницу ошибки.

  3. Отдельно проверить фактический HTTP-код — ожидается 404, если URL действительно не существует.

  4. Открыть несуществующий элемент внутри динамического раздела: например, карточку товара с вымышленным символьным кодом.

  5. Проверить несуществующий раздел и другие ЧПУ-маршруты.

  6. Убедиться, что сайт не отправляет все отсутствующие URL через 301 на главную.

  7. Если старый URL действительно переехал, проверить redirect и его конечную страницу.

  8. Проверить внутренние ссылки на отсутствующие документы и ресурсы.

  9. Проверить, не остаются ли удалённые URL в sitemap.xml.

  10. Повторить проверку после исправления на нескольких типах маршрутов, а не только на одном тестовом адресе.

404 — это не картинка с цифрами

Корректная обработка отсутствующей страницы состоит из двух частей.

Сервер должен честно сообщить:

ресурс не найден.

А интерфейс должен нормально объяснить человеку:

что произошло и куда можно перейти дальше.

Если пользователь видит красивую 404, а сервер отдаёт 200, выполнена только половина задачи.

Если сервер отдаёт правильный 404, но посетитель получает пустой технический экран, протокол настроен правильно, а пользовательский сценарий — нет.

Хорошая реализация сочетает оба уровня: корректный HTTP-ответ для поисковой системы и понятную страницу ошибки для человека.