Серч консоль

Интернет-маркетолог начинает рабочий день не с кофе. Он просматривает сводки «Метрики» и Google Analytics, а потом проверяет информацию в «Яндекс.Вебмастер» и Search Console. Пользуясь медицинской терминологией, панели для вебмастеров «Яндекса» и Google показывают состояние здоровья сайтов: доступность для роботов, ошибки индексирования, количество страниц в индексе и другие важные параметры. Как правильно пользоваться сервисами «Яндекс.Вебмастер» и Search Console Google? Читайте в руководстве для начинающих.

С помощью сервисов Search Console и «Вебмастер» вы можете решать две группы задач. Во-первых, вы можете управлять индексированием сайтов. Во-вторых, вы можете следить за корректностью индексирования, техническим соответствием сайта требованиям «поисковиков» и некоторыми метриками эффективности ресурса.

С помощью этого руководства вы научитесь пользоваться Search Console Google и «Яндекс.Вебмастер». Также вы узнаете, почему владельцам сайтов в рунете стоит использовать оба сервиса. Для вашего удобства информация объединяется в несколько блоков:

  • Как пользоваться «Яндекс.Вебмастер»
  • Как пользоваться Search Console Google
  • Сравнение функциональности панелей для вебмастеров «Яндекс» и Google

Обратите внимание, сервис Search Console ранее назывался «Инструменты для веб-мастеров Google».

Как использовать «Яндекс.Вебмастер»

«Вебмастер» — это панель инструментов для владельцев сайтов, которую поддерживает крупнейшая в рунете поисковая система «Яндекс». После регистрации или авторизации в системе вы можете пользоваться всеми функциями сервиса. Основные из них описаны ниже.

Как добавить сайт в «Яндекс.Вебмастер»

Сначала стоит узнать, зачем добавлять ресурсы в кабинет вебмастера. Так вы получаете доступ к управлению и мониторингу индексирования. Кстати, если ваш сайт еще не попал в поисковую базу, воспользуйтесь «аддурилкой».

Чтобы добавить сайт в «Яндекс.Вебмастер», перейдите по соответствующей ссылке на главной странице сервиса.

На новой странице вставьте в поле URL ресурса и нажмите кнопку «Добавить».

Подтвердите право управления сайтом одним из предложенных способов. Воспользуйтесь описаниями процедуры подтверждения прав на сайт с помощью мета-тэга, если ваш сайт работает на CMS WordPress или «Джумла».

Если вы все сделали верно, сообщение о подтверждении прав появится в разделе «Права на управление».

Как проверить общую информацию о сайте

Чтобы получить общую сводку об индексировании сайта, выберите нужный ресурс в меню «Мои сайты». Для этого воспользуйтесь поиском или выберите сайт из списка.

После выбора сайта вы попадете в раздел «Общая информация». Вы можете ознакомиться с краткой информацией об индексировании сайта. Здесь доступны данные о количестве страниц в индексе, загруженных и исключенных страниц, о числе внешних ссылок на сайт. Также вы видите дату последнего индексирования и ТИЦ ресурса.

Вы можете просмотреть заинтересовавшие вас данные в формате диаграммы. Для этого необходимо нажать на иконку напротив выбранных данных. Обратите внимание на стрелки справа от иконок. Они отражают динамику показателей.

По ссылкам «Страницы в поиске», «Загружено» и «Исключено роботом» доступны списки соответствующих страниц. Линк «Внешних ссылок на страницы сайта» ведет к списку ссылающихся ресурсов.

Как проверить URL сайта

Для этого воспользуйтесь соответствующим разделом в вертикальном меню кабинета. Добавьте в поле URL страниц, которые хотите проверить. Дождитесь, когда напротив адресов появятся ссылки «Готово».

Перейдите по ссылке напротив интересующего вас URL. Вы найдете подробную информацию об индексировании страницы.

Как оценить индексирование сайта

В соответствующем разделе меню вы можете посмотреть структуру сайта, списки страниц в поиске, исключенных страниц и входящих ссылок. Обратите внимание, к спискам можно также перейти из общей сводки кабинета. Вы можете установить временной фильтр для страниц в поиске и входящих ссылок.

Обратите внимание на раздел «Структура сайта». Он помогает понять, как «видит» структуру ресурса поисковая система и совпадает ли ее «видение» с вашим. Вы можете загрузить данные в виде таблицы.

В разделе «История» вы можете отслеживать динамику изменения данных. Информация представлена в виде настраиваемых диаграмм.

Как настроить индексирование

В разделе «Настройка индексирования» вы можете оценить и отредактировать файл robots.txt, проверить индексирование карты сайта, изменить главное зеркало и настроить протокол HTTPS.

Чтобы проанализировать файл robots.txt, выберите соответствующий подпункт меню. При необходимости вы можете отредактировать файл в интерфейсе «Яндекс.Вебмастер» и самостоятельно загрузить его на сайт. Вам поможет руководство по работе с robots.txt.

В разделе «Файлы Sitemap» вы найдете информацию об индексировании карты сайта. При необходимости вы можете удалить неактуальный и добавить новый файл sitemap.xml. По ссылке «Подробнее» доступна подробная информация об индексировании файла.

В разделе «Главное зеркало» вы можете указать поисковому роботу главное зеркало сайта. Также у вас есть возможность настроить протокол HTTPS. Обратите внимание, чтобы изменить зеркало, вам нужно внести актуальные данные в файл robots.txt с помощью директивы Host.

Как отслеживать поисковые запросы

В разделе «Поисковые запросы» вы можете отслеживать данные о ключевых фразах, с помощью которых посетители находят ваш сайт. В разделе «Популярные запросы» можно увидеть «ключи», которые принесли вам больше всего показов и переходов за последние месяцы. С помощью фильтров вы можете выбрать отчетную неделю или переключить данные между показами и переходами.

В разделе «История запросов» вы можете оценить долю выбранных «ключей» в поисковом трафике на сайт, среднюю позицию в выдаче, показы, переходы и CTR. Данные представлены в виде интерактивной диаграммы. С помощью отмеченного на иллюстрации фильтра вы можете настроить регион, для которого отображаются данные.

В разделе «Мои регионы» вы можете добавлять или удалять регионы, для которых хотите получать данные о поисковом продвижении ресурса.

В подразделе «Мои запросы» вы можете отслеживать «ключи», по которым ресурс чаще всего отображается в выдаче. Также вы можете указать ключевые фразы, данные по которым хотите получить.

Как настроить региональную принадлежность сайта

Для этого в разделе «География сайта» необходимо выбрать подраздел «Регион сайта». Если вы хотите изменить определенную роботом географическую принадлежность, укажите соответствующие данные и подтверждающий их URL.

В разделе «Адреса и организации» вы можете добавить или отредактировать название и контактные данные компании.

Как защититься от воровства контента и повысить CTR сайта в поисковой выдаче

Эти задачи решаются с помощью раздела «Содержимое сайта». Используйте инструмент «Оригинальные тексты», чтобы сообщить «Яндексу» о публикации авторского материала. Достаточно перейти по ссылке, вставить оригинальный текст в поле и нажать кнопку «Добавить». Сразу после этого вы можете публиковать контент на сайте.

Чтобы сделать сниппет более привлекательным и повысить CTR сайта в выдаче, вы можете использовать предложенные инструменты, например, «Автообъявления», «Товары и цены», «Вакансии». Обратите внимание, если вы уже используете микроразметку Schema.org, применять дополнительную разметку не нужно.

Как оценить сайт в результатах поиска

В разделе «Сайт в результатах поиска» вы можете проверить и отредактировать название быстрых ссылок. Чтобы изменить название, достаточно воспользоваться выпадающим меню и выбрать подходящий вариант. Также вы можете изменить принцип сортировки URL.

Также вы можете изменить регистр имени сайта. Например, ссылка на ваш ресурс в выдаче может отображаться одним из способов: Texterra.ru или TexTerra.ru. Чтобы изменить регистр, добавьте желаемый вариант в поле на странице «Регистр имени сайта».

В разделе «Безопасность» вы можете следить за уведомлениями о вредоносном коде на сайте. А в разделе «Права на управление» можно делегировать право доступа к данным о ресурсе другому пользователю, а также сбросить права.

Функциональность системы «Яндекс.Вебмастер» позволяет оценивать индексирование сайта «Яндексом», а также настраивать некоторые параметры индексирования. Меню и инструменты кабинета простые в использовании и интуитивно понятные.

Как использовать Search Console Google

Search Console — это сервис для владельцев сайтов, созданный поисковой системой Google. Раньше он назывался «Инструменты для веб-мастеров». После регистрации или авторизации вы сможете воспользоваться функциями сервиса. Описание его главных возможностей вы найдете ниже.

Как добавить сайт в Search Console

Для этого воспользуйтесь кнопкой «Добавить ресурс» на главной странице сервиса.

Укажите URL сайта в соответствующем поле и нажмите кнопку «Продолжить». Подтвердите права на управление ресурсом. Воспользуйтесь соответствующими инструкциями, если ваш сайт работает на WordPress или «Джумла». После подтверждения прав вы получите доступ к данным об индексации сайта в Search Console.

Как получить общие данные об индексировании сайта

Для этого в списке ресурсов выберите интересующий вас сайт. В разделе «Панель инструментов» вы увидите список новых сообщений от системы, информацию об ошибках сканирования, динамике поисковых запросов и проблемах с файлами Sitemap. При необходимости вы можете просмотреть детальную информацию.

В разделе «Сообщения» вы можете просмотреть все сообщения системы.

Как оценить и улучшить вид в поиске

В разделе «Вид в поиске» вы можете оценить корректность использования структурированных данных. Обратите внимание на найденные системой ошибки.

В разделе «Маркер» вы можете быстро сообщить «поисковику» о структурированных данных на вашем сайте. Это нужно, чтобы на странице выдачи отображался улучшенный сниппет. В разделе есть видеоинструкция по использованию маркера.

В разделе «Оптимизация HTML» можно увидеть проблемы с мета-данными и HTML-кодом сайта. Для просмотра страниц, на которых обнаружены проблемы, необходимо перейти по соответствующим ссылкам.

В разделе «Ссылки сайта» вы можете понизить рейтинг страниц, быстрые ссылки на которые по вашему мнению не должны отображаться на странице выдачи.

Как оценивать поисковый трафик

В разделе «Поисковый трафик» вы можете анализировать ключевые фразы, с помощью которых на ваш сайт попадают посетители. Вы можете оценивать эффективность ключей по количеству кликов, показов, средней позиции и CTR. Обратите внимание на возможность фильтрования данных по типу поиска, устройствам, странам, страницам и запросам. Также вы можете просматривать детальные данные по каждому запросу.

В разделе «Ссылки на ваш сайт» вы найдете данные о ссылающихся ресурсах и страницах-акцепторах. Также в разделе есть данные об анкорных текстах.

В разделе «Внутренние ссылки» вы найдете соответствующие данные. Обратите внимание на возможность просматривать ссылки на конкретные страницы сайта.

В разделе «Меры, принятые вручную» вы найдете информацию о ручных санкциях Google.

В разделе «Таргетинг по странам и языкам» вы найдете соответствующую информацию. Кстати, если аудитория вашего ресурса живет в разных странах и разговаривает на разных языках, ознакомьтесь с гайдом по созданию мультиязычного и мультирегионального сайта.

В разделе «Удобство просмотра на мобильных устройствах» можно просмотреть список соответствующих ошибок.

Как следить за индексированием сайта

В подразделе «Статус индексирования» раздела «Индекс Google» есть данные о количестве проиндексированных страниц. Вы можете включить отображение расширенных данных, чтобы увидеть число проиндексированных, заблокированных и удаленных страниц.

В разделе «Ключевые слова в содержании» есть соответствующие данные. Обратите внимание, вы можете загрузить информацию в виде таблицы.

В разделе «Заблокированные ресурсы» содержатся данные о страницах, индексирование которых полностью или частично запрещено. Убедитесь, что на вашем сайте нет ненужных ограничений для поискового робота.

В разделе «Удалить URL-адреса» вы можете временно скрыть некоторые страницы из результатов поиска.

Как оценить и настроить сканирование

В подразделе «Ошибки сканирования» раздела «Сканирование» вы найдете информацию об ошибках на стороне сайта и сервера. После устранения ошибки вы можете уведомить об этом «поисковик».

В разделе «Статистика сканирования» можно следить за характеристиками работы робота Google: количеством просканированных страниц, объемом загруженной информации и временем индексирования.

В разделе «Посмотреть, как Googlebot» вы можете узнать, как «видит» ваши страницы Google. Это позволяет отслеживать ошибки сканирования и подтверждать доступность контента. Чтобы воспользоваться инструментом, укажите URL интересующей вас страницы и нажмите кнопку «Получить и отобразить».

В разделе «Инструмент проверки файла robots.txt вы можете проверить и отредактировать соответствующий файл.

В разделе «Файлы Sitemap» вы можете проверить доступность карты сайта, а также загрузить актуальный файл Sitemap.xml.

В разделе «Параметры URL» можно настроить параметры сканирования URL. Используйте этот инструмент только по необходимости.

В разделе «Проблемы безопасности» вы найдете соответствующую информацию. Если Google обнаружил на вашем сайте вредоносный код, просканируйте сайт и исправьте проблему.

В разделе «Другие ресурсы» вы найдете ссылки на полезные инструменты Google. Используйте их для повышения эффективности сайта.

Что выбрать: «Яндекс.Вебмастер» или Search Console

По данным Liveinternet.ru, в сентябре 2015 «Яндекс» удерживал около 60 % поискового рынка рунета, а на долю Google пришлось около 30 % трафика. Два «поисковика» фактически монополизировали рынок. Если вы работаете с русскоязычной аудиторией, используйте кабинеты для вебмастеров «Яндекса» и Google одновременно. Если вы продвигаете проект в буржунете, можете ограничиться Search Console.

Для экономии времени вы можете рутинно использовать один из сервисов, а вторым пользоваться раз в неделю или реже. Ниже вы найдете таблицу сравнения функциональности Search Console и «Яндекс.Вебмастер», которая поможет вам выбрать основной набор инструментов.

Функция/Сервис «Яндекс.Вебмастер» Search Console Примечания
Мониторинг ошибок индексирования + + Уведомления об ошибках удобнее отслеживать в Search Console.
Отслеживание корректности использования микроразметки +/- + В Search Console данные отслеживаются автоматически, а в «Вебмастере» необходимо проверять URL или код вручную.
Мониторинг HTML и мета-данных + Search Console отслеживает данные автоматически.
Микроразметка страниц + + С помощью маркера Search Console размечать страницы удобнее, чем с помощью инструментов в разделе «Вебмастера» «Содержимое сайта».
Проверка и редактирование robots.txt + +
Проверка sitemap.xml + +
Оценка поисковых запросов + + Search Console предлагает больше параметров мониторинга и анализа.
Анализ входящих ссылок + + Большинство вебмастеров предпочитает сторонние инструменты анализа внешних ссылок, например, Ahrefs или Opensiteexplorer.
Возможность увидеть сайт «глазами поисковика» + Полезная функция, выявляющая проблемы индексации.
Отслеживание и изменение регионального и языкового таргетинга + +/- В «Вебмастере» эта функция реализована лучше.
Добавление нескольких сайтов, переключение между сайтами + + Оба сервиса могут использовать агентства, работающие с десятками сайтов.
Оценка адаптации под мобильный трафик +
Настройка параметров URL +/- + В «Вебвизоре» вы можете настроить только регистр имени сайта и выбрать быстрые ссылки.
Интеграция интерфейса с другими сервисами + +
Уведомление об авторстве текста + Мэтт Каттс утверждает, что Google точно определяет сайты-первоисточники. А для подстраховки он рекомендует поделиться контентом в «Твиттере» или «Фейсбуке» сразу после публикации.
Юзабилити интерфейса + + Панели инструментов для вебмастеров Google и «Яндекса» удобные в использовании. Интерфейс «Вебмастера» более простой для понимания благодаря меньшему числу функций.

Часть функций панелей для вебмастеров Google и «Яндекс» дублируются. Например, вы можете проверить файлы sitemap.xml и robots.txt, изучить внешние ссылки или проверить геотаргетинг с помощью любого из инструментов.

В кабинетах есть уникальные функции. Например, в «Вебмастере» вы можете подтвердить авторство текста, а с помощью Search Console можно посмотреть на сайт глазами робота. В целом Search Console — более функциональный сервис по сравнению с «Вебмастером». Однако значительную часть его функций можно использовать нечасто. Поэтому при выборе основного инструмента мониторинга руководствуйтесь личными предпочтениями.

Если вам нравятся оба сервиса, поступите так. Используйте «Вебмастер» ежедневно, чтобы следить за доступностью сайта для поисковых роботов. При необходимости решить специфические задачи используйте Search Console. Раз в неделю анализируйте данные, полученные с помощью этого инструмента, чтобы следить за спецификой индексирования ресурса поисковой системой Google.

Используйте Search Console и «Вебмастер» одновременно

Используйте набор инструментов, который вам больше нравится, ежедневно. С помощью второго сервиса решайте специфические задачи и отслеживайте индексирование соответствующей поисковой системой. Из-за лидерства «Яндекса» на поисковом рынке рунета логичнее выбрать в качестве рутинного сервиса «Вебмастер». Его функциональности достаточно, чтобы следить за основными проблемами, препятствующими индексации сайта всеми поисковыми системами. Обязательно сравнивайте данные, полученные с помощью «Вебмастера» и Search Console. Например, вы можете отследить, как ваш сайт находят пользователи «Яндекс» и Google.

В комментариях поделитесь своим мнением о «Вебмастере» и Search Console: какой сервис вы используете и почему, стоит ли по вашему мнению пользоваться двумя кабинетами для вебмастеров, какие функции вы считаете самыми полезными. Также расскажите о проблемах, с которыми вы сталкивались при использовании инструментов для вебмастеров.

Источник: Текстерра

leads.su

Что такое Google Search Console

Google Search Console (ранее Google Webmaster Tools) – это аналог Яндекс Вебмастера, только для поисковика Гугл. С его помощью можно добавить сайт в поиск, узнать, виден ли он в выдаче, знают ли про него роботы Гугла. Благодаря Search Console можно:

  • отслеживать наличие технических ошибок;
  • изучать, по каким ключам к вам переходят люди;
  • обеспечить поисковым роботам доступ к сайту;
  • сканировать новые страницы и удалять те, которые люди не видят в поиске;
  • поддерживать работу интернет-магазина и не терять потенциальных покупателей.

Как добавить сайт в Google и подтвердить права

Чтобы добавить сайт в Гугл Вебмастер нужно иметь аккаунт в Google – почту на gmail. Если у вас её пока нет, придётся зарегистрироваться.

После этого можно приступить к добавлению сайта. Зайдите в Search Console. Нажмите на зелёную кнопку Search Console.

Google Search Console

В текстовое поле вставьте адрес вашего сайта и нажмите «Добавить ресурс».

Добавляем сайт в Search Console

Далее нужно подтвердить права на сайт. Как и у Яндекса, сделать это можно несколькими способами. Самый простой — добавить файл на сайт.

Через HTML файл

Скачайте файл подтверждения на свой компьютер.

Подтверждение прав файлом

Зайдите в бэк-офис вашего интернет-магазина и нажмите «Файлы». Затем наверху страницы – «Добавить файл». Выберите и загрузите на сайт скачанный только что файл.

Бэк-офис InSales

Вернитесь в Google Search Console и нажмите сначала «Я не робот», а затем – «Подтвердить».

Подтверждение прав в Search Console

Появится такая надпись:

Сайт добавлен в Search Console

Права на собственность подтверждены, а Google теперь знает о существовании сайта и вскоре начнёт индексацию.

Через мета-тег HTML

Как и в случае с Яндексом, есть другой способ подтвердить права на сайт — при помощи вставки короткого кода в шаблон сайта. Для этого нажмите «Альтернативные способы» и выберите «Тег HTML».

Подтверждение прав через мета-тег

Чтобы добавить этот код, вы можете обратиться в техподдержку. Если у вас есть навыки вёрстки, то для вас не составит труда сделать это самостоятельно.

После этого нажмите кнопку «Подтвердить» в Search Console.

Что настроить в первую очередь

Рассмотрим, какие вещи нужно сделать в сервисе сразу после добавления сайта.

Основной домен

Настроить основной домен стоит в первую очередь. Основной домен — это то, какой адрес сайта будет главным – с www или без. По этому адресу люди будут находить его в Интернете.

В большинстве случаев Google правильно определяет, какой домен основной. Но стоит это проверить. Для этого нажмите на шестерёнку настроек и выберите «Настройки сайта». Затем выберите тот вариант, по которому открывается ваш сайт — с www или без.

Основной домен Search Console

Связать Search Console и Analytics

Google Analytics – это набор инструментов аналитики для создания подробной статистики о посетителях сайта. Аналог Яндекс Метрики. Если так вышло, что у вас уже была настроена Analytics, а Search Console вы настроили только сейчас, то самое время связать эти аккаунты.

Чтобы привязать Google Analytics к Search Console, нужно нажать «Настройки» — «Ресурс Google Analytics».

Search Console и Analytics

После этого нужно отметить свой сайт и нажать «Сохранить», а в появившемся окне – «OK».

Привязать Analytics к Search Console

Добавить ссылку на Sitemap

Sitemap — это карта сайта, она помогает роботам индексировать сайт. Чтобы добавить sitemap нужно пройти во вкладку «Сканирование» и кликнуть по «Файл Sitemap», а затем «Добавление/проверка файла Sitemap». В появившееся текстовое поле просто написать «sitemap.xml» и нажать «Отправить».

Sitemap в Search Console

После этого на странице Search Console появится карта сайта.

Как ещё повлиять на продвижение в Google?

Ещё одним полезным инструментом для веб-мастеров является Маркер. С его помощью можно передавать поисковым роботам структурированную информацию, найденную на сайте. Благодаря маркеру в итоге поисковые роботы будут лучше отображать сайт. Например, при грамотной настройке появится цена, рейтинг товара прямо на странице выдачи. Настроить его можно нажав «Вид в поиске» — «Маркер».

Маркер Search Console

Также будет полезен уже упоминавшийся сервис Google Analytics — аналог Метрики. Analytics умеет:

  • анализировать социальную активность;
  • смотреть пользу от рекламных кампаний;
  • изучать конверсию на сайте;
  • анализировать мобильную информацию;
  • понимать содержание разделов сайта.

Заключение

Google Search Console — важный инструмент для продвижения в Гугл. С его помощью оптимизируется сайт, и устраняются возможные ошибки. Информацию в панели рекомендуется проверять пару раз в месяц. Для эффективности пользуйтесь не только этим сервисом, но и Яндекс Вебмастер, о котором мы уже упоминали ранее.

www.insales.ru

Ошибки сканирования сайтов (Crawl Errors)

Одно из изменений, произошедших в последние годы в Search Console — интерфейс ошибок (Crawl Errors). Поисковая консоль включает в себя два главных раздела: Site Errors и URL Errors. Категоризация ошибок таким образом выглядит достаточно наглядно — ведь важно различать ошибки на уровне сайта и ошибки на уровне страницы.

Search Console — интерфейс ошибок (Crawl Errors)Первые представляются более критичными т.к. влияют на юзабилити сайта в целом. Ошибки URL, с другой стороны, относятся к отдельным страницам, т.е. не требуют столь срочного устранения.

1) Ошибки сайта

В разделе Site Errors показаны общие ошибки веб-сайта за последние 90 дней.

Если вы производили определенную активность за последние 90 дней, это будет выглядеть так:

Если вы производили определенную активность за последние 90 дней, это будет выглядеть такЕсли за последние 90 дней у вас не было ошибок, вы увидите следующее:

Если за последние 90 дней у вас не было ошибок, вы увидите этоОшибки должны проверяться как минимум каждые 90 дней. Регулярные проверки — это лучший вариант.

A) Ошибки DNS

Если у Googlebot возникают сложности с DNS, это значит, что нет возможности установить связь с вашим доменом из-за проблем с маршрутизацией DNS или нерабочего DNS-сервера.

Если возникает серьезная проблема с DNS, ее необходимо сразу же устранить. Бывают и незаметные сложности, которые мешают Google сканировать сайт.

DNS является важным аспектом, т.к. это первое, что открывает доступ к сайту.

Google рекомендует использовать инструмент Fetch as Google. Также можно проконсультироваться насчет возможного наличия проблем у DNS-провайдера. И убедиться в том, что сервер высвечивает код ошибок 404 или 500.

Google рекомендует использовать инструмент Fetch as Google

Другие полезные инструменты:

  • ISUP.me
  • Web-Sniffer.net

Б) Ошибки сервера

Ошибки сервера чаще всего связаны с тем, что серверу требуется слишком много времени на ответ. Ошибки DNS означают, что Googlebot не может даже обнаружить ваш URL из-за сложностей, связанных с DNS, тогда как серверные ошибки не позволяют загрузить страницу, даже несмотря на то, что Googlebot может подключиться к вашему сайту.

Серверные ошибки, как правило, случаются из-за перегруженности сайта большим объемом трафика. Во избежание этого следует лишний раз проверить, что хостинг-провайдер справляется со внезапным притоком веб-трафика.

Официальная информация Google по устранению ошибок: «Используйте Fetch as Google, чтобы выяснить, может ли Googlebot получить доступ к сайту. Если Fetch as Google возвращает контент домашней страницы без каких-либо проблем, можно предположить, что у Google есть доступ к вашему сайту».

Прежде, чем переходить к устранению серверных ошибок, необходимо установить характер ошибки:

  • Истечение времени ожидания (Timeout)
  • Усеченные заголовки (Truncated headers)
  • Обрыв соединения (Connection reset)
  • Усеченный отклик (Truncated response)
  • Отказано в соединении (Connection refused)
  • Не удалось установить соединение (Connect failed)
  • Истечение времени ожидания соединения (Connect timeout)
  • Нет отклика (No response)

В) Ошибки доступа к файлу robots.txt

Это значит, что Googlebot не может извлечь ваш файл robots.txt, расположенный по адресу [вашдомен.com]/robots.txt.

Search Console help:

«Файл robots.txt нужен лишь в том случае, если на сайте присутствует определенный контент, который вы бы хотели добавить в индекс поисковых систем. Если хотите, чтобы поисковые системы индексировали весь контент сайта, файл robots.txt не нужен».

Это важный аспект. Для небольших веб-сайтов, которые нечасто обновляются, устранение данной ошибки не требует такой уж безотлагательности. Файл robots.txt более важен для сайтов, которые ежедневно публикуют новый контент.

Если Googlebot не может загрузить ваш robots.txt, Google не будет сканировать сайт, а равно и индексировать новые страницы и изменения. Это может привести к существенным проблемам в продвижении сайта под Google.

Важно проверить конфигурации файла robots.txt и страницы, доступные для сканирования Googlebot. Убедиться, что линия «Disallow: /» отсутствует, за исключением ситуаций, когда по определенным причинам вы не хотите, чтобы сайт появлялся в поисковых результатах.

Лучше вообще обойтись без robots.txt. Если файла robots.txt нет, тогда Google будет сканировать сайт как обычно. Если файл содержит ошибки, Google приостановит сканирование, до тех пор пока ошибки не будут исправлены.

2) Ошибки URL

Ошибки URL влияют только на отдельные страницы сайта, а не на сайт в целом.

Ошибки URL влияют только на отдельные страницы сайта, а не на сайт в целом

Google Search Console выделяет следующие категории ошибок: десктоп, смартфон, простой телефон. Для крупных сайтов этого может быть недостаточно, но для большинства такой подход охватывает все известные проблемы.

Совет: если ошибок слишком много, и вам надоело их исправлять, просто отметьте все как исправленные.

Если вы произвели значительные изменения на сайте в целях устранения ошибок, или же считаете, что многие URL-ошибки уже не повторяются, тогда можно отметить все ошибки как исправленные, и провести повторную проверку через несколько дней.

Через несколько дней информация об ошибках появится вновь

Через несколько дней информация об ошибках появится вновь, но если вы их действительно устранили, этого не произойдет.

A) Программные ошибки 404 (Soft 404)

Программная ошибка 404 (или т.н. «мягкая ошибка» Soft 404) — это когда страница высвечивает 200 (найдена), вместо 404 (не найдена).

И тот факт, что страница 404 выглядит как 404, еще не значит, что все и на самом деле так.

«Если на странице появляется сообщение «404 Файл не найден», это не означает, что это страница 404. Если на клетке с жирафом висит табличка «собака», это не значит, что в клетке действительно собака», — support.google.com.

Видимый пользователю аспект страницы 404 — это контент. Визуальное сообщение дает возможность понять, что запрашиваемая страница исчезла. Часто владельцы сайтов предлагают пользователям персонализированные страницы или страницы со списками похожих ссылок.

«Обратная сторона» страницы 404 — это видимый для веб-паука код ответа HTTP.

«Обратная сторона» страницы 404 — это видимый для веб-паука код ответа HTTP

Google рекомендует: «Настроить веб-сайт так, чтобы при запросе несуществующих страниц возвращался код ответа 404 (страница не найдена) или 410 (страница удалена)».

Программные ошибки 404 (Soft 404)Еще одна ситуация, когда может появиться программная ошибка 404 — страницы 301, перенаправляющие на другие страницы, например, на главную. В справочном пособии Google о последствиях этого сообщается достаточно неопределенно:

«При возвращении кода для несуществующей страницы, отличного от 404 и 410, (или при перенаправлении на другую страницу, например на главную, вместо возвращения кода 404), могут возникнуть дополнительные проблемы».

Когда множество страниц перенаправляется на главную, Google рассматривает эти страницы как soft 404, а не как 301.

Для страниц, которых больше не существует:

  • Удостоверьтесь, что при запросе несуществующих страниц возвращается код ответа 404 (страница не найдена) или 410 (страница удалена), а не 200 (успешный запрос).
  • Сделайте перенаправление (301) для каждой старой страницы на соответствующую страницу сайта.
  • Не перенаправляйте большое количество «мертвых» страниц на главную. Они должны быть 404, или перенаправляться на похожие страницы.

Для рабочих страниц:

  • Удостоверьтесь, что существует достаточный объем контента на странице, т.к. небольшой объем может спровоцировать ошибку soft 404.
  • Soft 404 — это некий гибрид 404 и обычных страниц, — отсюда и сложности. Проведите проверку на предмет наличия у большей части страниц ошибки soft 404.

Б) 404

Ошибка 404 означает, что Googlebot пытался сканировать страницу, которой нет на сайте. Googlebot находит страницы 404, когда другие сайты или страницы ведут к этим не существующим страницам.

Google сообщает, что «В общем, ошибки 404 не влияют на рейтинг сайта в Google, поэтому их можно смело игнорировать».

Но если это важная страница, игнорировать ошибку 404 нельзя.

Совет Рэнда Фишкина:

«Если страница:

а) Не получает важные ссылки от внешних источников,

а) Посещаемость страницы невысока,

в) И/или у нее нет заметного URL-адреса, на который посетители могут заходить,

Тогда можно оставить страницу как 404».

Если важные страницы высвечиваются как 404:

  1. Удостоверьтесь, что опубликованная страница из вашей CMS не находится в режиме черновика и не удалена.
  2. Проверьте, появляется ли эта ошибка на версиях сайта с www или без www, http или https.  

Проще говоря, если ваша страница «мертвая», оживите ее. Если вы не хотите делать ее рабочей, сделайте перенаправление 301 на корректную страницу.

Как сделать, чтобы старые 404 не показывались в отчете о сканировании

Если 404 URL не важен, просто игнорируйте его, как советует Google. Но чтобы ошибок не было видно в отчете, придется проделать дополнительную работу. Google показывает только ошибки 404, если ваш сайт или внешний сайт ведут на страницу 404.

Найти ссылки, ведущие на страницу 404, можно так: Crawl Errors > URL Errors.

Найти ссылки, ведущие на страницу 404, можно так: Crawl Errors > URL Errors

Затем кликните URL, который хотите исправить

Затем кликните URL, который хотите исправить

Искомая ссылка быстрее найдется в исходом коде страницы:

Искомая ссылка быстрее найдется в исходом коде страницы:

Довольно трудоемкий процесс, но если действительно нужно, чтобы старые 404 не присутствовали в отчете, понадобится удалить ссылки с каждой страницы.

В) Отказ в доступе (Access denied)

Отказ в доступе означает, что Googlebot не может сканировать страницу.

Причины:

  • Вы требуете от пользователей ввести логин и пароль, чтобы зайти на сайт, и таким образом Googlebot блокируется
  • Ваш файл robots.txt блокирует доступ Googlebot к отдельным URL, папкам, или сайту в целом
  • Хостинг-провайдер препятствует доступу Googlebot к сайту, или же сервер требует от пользователей аутентификацию через прокси-сервер

Ошибка, сходная с soft и 404. Если блокируемая страница важна и должна индексироваться, тогда требуется незамедлительное вмешательство. Если нет — можно игнорировать подобные ошибки.

Для исправления понадобится устранить элементы, блокирующие доступ Googlebot:

  • Уберите вход по логину (логин на странице или всплывающее окно) для страниц, которые нужны для индексации
  • Убедитесь, что в файле robots.txt содержатся страницы, которые Googlebot не должен сканировать
  • Используйте Fetch as Google, чтобы узнать, как Googlebot сканирует ваш сайт
  • Просканируйте сайт с помощью инструмента Screaming Frog

И хотя эти ошибки не так распространены, как 404, сложности по части доступа могут негативно влиять на рейтинг сайта, если важные страницы заблокированы.

Решение некоторых технических вопросов, о которых шла речь в статье, представляется задачей довольно трудоемкой. Никто не хочет искать кажущиеся незначительными ошибки URL, или наоборот впадать в панику при появлении экрана с тысячами ошибок на сайте. Но с опытом и неоднократным повторением действий формируется мышечная память, и пользователь практически автоматически сортирует важные ошибки и те, которые можно игнорировать.

astra.red

You May Also Like

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.