Проблемы с индексацией могут свести на нет ваши усилия по SEO — страница может быть идеально оптимизирована и иметь отличный UX, но она ничего не стоит, если Google ее не увидит. Непроиндексированные страницы не попадут в поисковую выдачу и не принесут трафика и конверсий.
И наоборот, если Google время от времени увидит и проиндексирует страницу, которая не предназначена для индексации, то вы рискуете утечкой личной информации, штрафами Google за некачественный контент и другими малоприятными последствиями.
В этом руководстве я расскажу, какие существуют проблемы с индексацией и как их исправить, чтобы они возникали где угодно, кроме вашего сайта. Но сначала давайте посмотрим, как проверить, есть ли у вас проблемы с индексацией вашего сайта.
Как обнаружить проблемы с индексацией?
Google Search Console может дать вам базовое, но все же достаточное представление о проблемах с индексацией вашего сайта. Чтобы увидеть их, обратитесь к отчету « Индекс > Страницы ».
Страницы, не проиндексированные по каким-либо причинам, помещаются в один раздел « Не проиндексированные » . Страницы, которые были проиндексированы, но по-прежнему имеют какие-либо проблемы и требуют вашего внимания, можно найти в нижней части страницы в разделе « Улучшение внешнего вида страницы »:
Для дальнейшего изучения любой проблемы щелкните строку с ошибкой, а затем значок линзы рядом с URL-адресом, который вы хотите проверить:
Search Console покажет вам подробности и поможет определить, что не так со страницей.
Если вам нужно копнуть глубже и получить рекомендации о том, что нужно исправить, чтобы сделать страницу качественной, обратитесь к разделу WebSite Auditor « Индексирование и возможность сканирования »:
Инструмент соберет все URL-адреса с ошибками, поэтому вам не нужно будет вручную проверять каждую страницу отдельно.
Что ж, теперь мы закончили с частью «где найти» . Теперь пришло время посмотреть, какие типы проблем с индексацией вы можете обнаружить и как их исправить, чтобы ваш сайт сканировался и индексировался.
Примечание. Далее в этом руководстве я буду считать само собой разумеющимся, что все URL-адреса, о которых сообщается, что они затронуты проблемами индексации, должны быть проиндексированы. Если URL не нужно индексировать, заблокируйте его тегом noindex или ограничьте доступ с помощью инструкций robots.txt. Кроме того, обязательно удалите эти страницы из карты сайта. Ничего не делайте, если они на самом деле не проиндексированы.
1. Не найдено (404)
Не найдено (404) или неверный URL-адрес, вероятно, является одной из самых распространенных проблем с индексацией. Страница может иметь код состояния 404 по многим причинам. Допустим, вы удалили URL, но не удалили страницу из карты сайта, неправильно написали URL и т. д.
Как говорит Google, ошибки 404 сами по себе не вредят производительности вашего сайта до тех пор, пока не будут отправлены URL-адреса (то есть те, которые вы явно попросили Google проиндексировать).
Если вы видите URL-адреса 404 в своих отчетах об индексации, вот возможные варианты того, как их исправить, если они не должны были произойти:
- Обновите карту сайта и проверьте правильность написания затронутого URL.
- Если страница переехала на новый адрес, то настройте редирект 301.
- Если страница удалена без какой-либо замены или альтернативы, то оставить ее как 404, но удалить из карты сайта. Таким образом, Google перестанет пытаться найти его и тратить впустую краулинговый бюджет.
- Если вам нужно сохранить 404, создайте пользовательскую удобную страницу 404 — вы можете добавить туда несколько полезных ссылок, чтобы пользователи оставались на вашем сайте, а не просто закрывали страницу. Помните, что страница 404 все равно остается 404, поэтому Google не должен индексировать ее, какой бы красивой она ни была.
Обратите внимание, что GSC не отличает 404 (не найдено) от 410 (исчезло) и объединяет их в отчете 404. Раньше это были разные типы кодов ответов: 404 означало «не найдено, но может быть найдено позже», а 410 раньше означало «не найдено и не будет, так как оно исчезло навсегда».
На сегодняшний день Google говорит, что они обрабатывают ошибки 404 и 410 одинаково, поэтому вам, вероятно, не нужно беспокоиться, если вы найдете страницу 410 в отчете 404. Единственное, что я предлагаю вам сделать, это установить пользовательскую страницу 404 вместо пустой 410, чтобы сэкономить трафик и предотвратить уход пользователей с вашего сайта.
Многие SEO-специалисты и владельцы сайтов имеют привычку перенаправлять ошибки 404 на главную страницу, но правда в том, что это не лучшая практика. Это сбивает с толку Google и приводит к программным ошибкам 404. Что ж, давайте посмотрим, что из себя представляют эти мягкие 404-е.
2. Софт 404
Мягкая ошибка 404 возникает, когда страница имеет ответ 200 OK, но Google не может найти ее содержимое и считает ее ошибкой 404. Мягкая ошибка 404 может возникать по многим причинам, и некоторые из них могут даже не зависеть от вас, например, ошибки в браузерах пользователей. Вот еще несколько причин:
- Отсутствует включаемый файл на стороне сервера
- Разорванное соединение с базой данных
- Пустая страница результатов внутреннего поиска
- Незагруженный или иным образом отсутствующий файл JavaScript
- Слишком мало контента
- Маскировка страницы
На самом деле эти проблемы не так уж сложно решить. Вот несколько распространенных сценариев:
- Если контент переместился, а страница на самом деле 200 OK, но пуста, то настройте переадресацию 301 на новый адрес;
- Если удаленному контенту нет альтернативы, то помечаем его как 404 и удаляем из карты сайта;
- Если страница должна существовать, то добавьте некоторый контент и проверьте, что все скрипты на ней отрисовываются и отображаются корректно (не блокируются robots.txt, поддерживаются браузерами и т. д.);
- Если ошибка возникает из-за того, что сервер не работает, когда робот Googlebot пытается получить страницу, проверьте, нормально ли работает сервер. Если да, то запросите переиндексацию этой страницы.
3. Заблокирован из-за несанкционированного запроса (401)
Ошибка 401 возникает, когда робот Googlebot пытается перейти на страницу, требующую авторизации, а ваш сервер блокирует это.
Если вы хотите, чтобы эта страница была проиндексирована, предоставьте роботу Googlebot соответствующее разрешение или удалите запрос на авторизацию.
4. Заблокирован из-за запрета доступа (403)
Этот тип ошибки возникает, когда пользовательский агент предоставил учетные данные для входа на страницу (логин, пароль), но не получил доступа для фактического выполнения этого действия. Однако Googlebot никогда не предоставляет учетные данные, поэтому сервер возвращает 403 вместо предполагаемой страницы.
Если страница была заблокирована по ошибке и вам действительно нужно ее проиндексировать, разрешите доступ для незарегистрированных пользователей или явным образом разрешите роботу Googlebot войти на страницу, чтобы прочитать и проиндексировать ее.
5. Представленный URL-адрес с пометкой «noindex»
Как понятно из названия, эта ошибка возникает, когда вы явно просите Google проиндексировать страницу (т.е. добавляете ее в карту сайта или вручную запрашиваете индексацию), но эта страница имеет тег noindex.
Исправление довольно простое — удалите тег noindex, чтобы Google мог получить доступ к странице.
6. URL-адрес заблокирован robots.txt
Если вы заблокируете страницу с помощью robots.txt, то Google ее не просканирует. Снимите ограничения на индексацию страницы.
Примечание. Robots.txt не является гарантией того, что страница не будет проиндексирована. Вот почему иногда консоль поиска Google может показать вам что-то вроде этого:
Подобные проблемы могут принести вам больше проблем, чем непроиндексированные страницы, поскольку Google может получить доступ и раскрыть информацию, которая не должна была появляться в поисковой выдаче (например, корзины, личные данные и т. д.).
Если вы столкнулись с такой проблемой, решите, нужна ли вам индексация страницы или нет. Если это так, удалите URL-адрес из файла robots.txt. Что если нет, также удалите его из robots.txt, но примените тег noindex или ограничьте доступ для неавторизованных пользователей. После того, как вы примените новые ограничения, вы также можете попросить Google удалить страницу из индекса через GSC ( Index > Removals > New request ).
7. Индексируется без содержания
Это еще один тип проблем, которые могут повредить производительности вашего сайта больше, чем неиндексированные страницы. Google не любит пустые страницы и, скорее всего, понизит ваши позиции, так как пустые страницы — это сигнал о спам-сайтах и некачественном контенте.
Если вы заметили, что некоторые из ваших страниц имеют статус « Проиндексировано без контента », вручную проверьте URL-адрес, чтобы выяснить причину. Например:
- На странице может быть слишком мало контента;
- На странице может быть контент, блокирующий рендеринг, который не загружается должным образом;
- Содержимое замаскировано .
Примите меры в зависимости от того, что вы видите.
Например, если страница слишком пуста, добавьте больше контента. Здесь вы можете проверить своих конкурентов в поисковой выдаче и следовать их рекомендациям с помощью раздела « Редактор контента » WebSite Auditor .
Если вы подозреваете, что на затронутой странице может быть контент, блокирующий отображение, проверьте всплывающие окна, использующие сторонние скрипты, и убедитесь, что они работают правильно и действительно доступны для чтения Google. В общем, Google должен видеть содержание ваших страниц так же, как его видят пользователи.
Если содержимое вашей страницы замаскировано, убедитесь, что все скрипты или изображения доступны для Google.
8. Ошибка перенаправления
Сообщество SEO много говорило о переадресации URL. Тем не менее оптимизаторы продолжают совершать ошибки, которые приводят к ошибкам перенаправления и повреждению индексации. Вот несколько распространенных причин, по которым Google не может правильно считывать перенаправления:
- Цепочка редиректов слишком длинная
- Перенаправление приводит к бесконечному циклу перенаправлений (цикл перенаправления)
- URL-адрес перенаправления превышает максимальную длину URL-адреса (2 МБ для Google Chrome).
- Цепочка перенаправлений содержит неверный или пустой URL-адрес.
Единственный способ исправить ошибки редиректа сводится к одной фразе: правильно настроить редиректы . Избегайте длинных цепочек перенаправлений, которые только тратят краулинговый бюджет и истощают ссылочный вес, убедитесь, что в цепочке нет URL-адресов 404 или 410, и всегда перенаправляйте URL-адреса на релевантные страницы.
9. Ошибка сервера (5xx)
Ошибки сервера могут возникать из-за того, что сервер мог выйти из строя, истекло время ожидания или он был отключен, когда появился робот Googlebot.
Первое, что нужно сделать здесь, это проверить затронутый URL. Перейдите к инструменту «Проверить URL» в GSC и посмотрите, не появляется ли ошибка по-прежнему. Если все в порядке, то единственное, что вы можете сделать, это запросить переиндексацию.
Если ошибка по-прежнему возникает, у вас есть следующие варианты в зависимости от характера ошибки:
- Уменьшите чрезмерную загрузку страниц для динамических запросов страниц
- Убедитесь, что хост-сервер вашего сайта не отключен, не перегружен и не неправильно настроен.
- Убедитесь, что вы случайно не блокируете Google
- Разумно контролируйте сканирование и индексацию сайта
После того, как вы все исправите, запросите переиндексацию, чтобы Google быстрее загружал страницу.
10. Дублировать без выбранного пользователем канонического
Дублирование без выбранного пользователем канонического – распространенная проблема для многоязычных и/или сайтов электронной коммерции, на которых есть много страниц с идентичным или очень похожим контентом, предназначенным для разных целей. В этом случае вам следует пометить одну страницу как каноническую, чтобы предотвратить проблемы с дублированием контента.
11. Дубликат, Google выбрал другой канонический, чем пользовательский
Это интересная вещь. Может случиться так, что вы указали определенную страницу как каноническую, но Google решил выбрать другую версию этой страницы в качестве канонической и вместо этого проиндексировал ее.
Самый простой способ исправить такие ошибки — поставить канонический тег на страницу, которую выбрал Google, чтобы не перепутать ее в будущем. Если вы хотите сохранить каноничность на выбранной вами странице, вы можете перенаправить страницу, выбранную Google, на нужный вам URL-адрес.
12. Альтернативная страница с правильным каноническим тегом
Примечание. Теперь я расскажу о проблемах, которые не требуют каких-либо конкретных действий (в большинстве случаев). Тем не менее, они отображаются в консоли поиска Google, и я предполагаю, что вам может быть интересно, что они означают.
Google не индексирует страницу, поскольку она является дубликатом канонической страницы. Просто оставьте все как есть.
13. Обнаружено — в настоящее время не проиндексировано
Если страница имеет статус « Обнаружена », значит, Google уже обнаружил ее, но еще не просканировал и не проиндексировал. Единственное, что вы можете здесь сделать, это проверить инструкции по индексированию страницы в случае каких-либо сомнений. Если все в порядке (т.е. так, как вы хотели), то пусть Google сделает все остальное позже.
Читать статью полностью: Ссылка.
Возможно вас заинтересует статья: Продвижение в поиске. Обновление старого контента.
Наши услуги:
Заказать Landing Page в Могилёве
Разработка сайта в Барановичах
Заказать многостраничный сайт в Бресте
