Посмотреть, что попало или не попало в индекс Google - часть работы любого веб-мастера. Но немногие знают, что факт присутствия ссылок на страницы сайта в индексе - очень расплывчатое понятие. Мерилом должны служить показы ссылок в поиске по запросам. Если показов нет, то уже и особой разницы - находится ссылка в индексе или не находится, нет.
Search Console
Основной инструмент по работе с ссылками сайта - Проверка URLв новой Search Console:
Здесь всё просто: указываете URL страницы, проверяете на наличие её в индексе, и если нет ошибок и противоречий, отправляете на индексацию. Серч коносль работает крайне медленно, поэтому много ссылок отправить быстро не получится.
Обратите внимание на инструменты (там же в новой Серч консоли) Эффективность и Покрытие. Они показывают более масштабную картинку и дают статистику по показам.
См. статью Отчет об эффективности.
Файлы Sitemap
Сайтмап делится на два вида:- стандартный формат sitemap
- rss фид
В первом случае это файл или группа файлов, куда генерируются вообще все ссылки страниц с сайта. Обрабатывается он редко и долго.
Во втором случае фид имеет смысл указывать короткий, на 20-50 страниц с сортировкой в порядке обновления. Фид Google сканирует чаще, поэтому быстрее будет забирать обновлённые страницы.
Индексация Sitemap - это не индексация всего сайта. И Google не обязан проиндексировать всё. Очень часто встречающееся заблуждение, что в индексе должны быть все страницы. Вообще, нет смысла на крупных сайтах держать группы sitemap с миллионами страниц. Достаточно в sitemap указывать категории, далее Гугл построит скелет сайта и сам найдёт все ссылки.
На скрине видим здоровую ситуацию, sitemap читается, ошибок нет, практически всё проиндексировано. В итоге у нас цифры (кол-во страниц) 279 со Статуса индексирования и 161 с Sitemap.
Оператор Site
Поисковый оператор site изначально служил для оценки деятельности сайта в поиске, но со временем утратил свою актуальность и не рекомендуется гуглерами для проверки индексации сайта.С официального форума для веб-мастеров Google:
Ни актуальных заголовков (изменяются по запросам), ни точных данных site уже не показывает. В нём можете встретить остаточный мусор, страницы, закрытые в robots, страницы, по которым нет показов и т.п., не участвующее в поиске.
С возрастом сайта уменьшается точность данных, выводимых оператором. На данный момент оператор site годится лишь для мониторинга ошибок в индексе и получения общего представления о сайте, например, с его помощью можно проверить микроразметку или увидеть, есть ли ручные меры за спам или нет. При дальнейшем щёлканье по страницам выдачи с оператора можно увидеть, как цифра страниц в поиске изменяется:
Всё равно, полученная цифра 130 записывается в блокнотик, а ссылки изучаются на предмет поросятины в сниппетах (паразитных кусков кода, опечаток и т.п.), заодно можно оценить кол-во отсортированных страниц, ушедших в дополнительные, т.е, в скрытые, результаты выдачи Мы скрыли некоторые результаты, которые очень похожи на уже представленные выше:
Сервисы проверки индексации страниц
Проверить индексацию сайта в Google и Яндексе можно с помощью сервиса Serphunt https://serphunt.ru/indexing/.Данный сервис позволяет производить пакетную (списком, возможность загрузки до 50 адресов) проверку ссылок на наличие индексации в обоих поисковиках.
Так же Серпхант умеет проверять позиции, имеет инструменты для оценки эффективности и мониторинга сайтов, а так же есть функция анализа страниц конкурентов.
Инструменты статистики
Основной инструмент для изучения ссылок в индексе - Метрика или Аналитика. Они позволяют разом оценить важность страниц для обеих поисковых систем (Яндекс и Google) и произвести сравнительный анализ.В данном примере в Метрике можно увидеть главные Страницы входа.
Но это популярные страницы со входящим трафиком отовсюду. Списки страниц на скриншоте обрезаны.
Сегментируем страницы по поисковой системе, в частности, Google (еще можно смотреть содержимое поискового трафика Google):
По урлам и запросам (Последняя поисковая фраза в Метрике, к примеру) можно определить, какие страницы приводят посетителей, какие нет и на что вообще надо тратить время. Если ожидаемых результатов нет, тогда страница переделывается (дописывается, переписыватся, перевёрстывается - нужное подчеркнуть) и отправляется через Инструмент проверки URL в Search Console. Дополнительное средство для анализа - Отчет об эффективности.
Резюмируя выше описанное:
- В связи с технологическим совершенствованием поиска Googleна первый план вышла актуальность страниц, имеющих показы в поиске (мобильный, планшетный, декстоп).
- Страницы в индексе, как таковые, не играют роли, если не приводят посетителей, и мониторить их обязательное включение в индекс, без соответствующей качественной обработки, не имеет смысла.
- Популярные жалобы "сайт не индексируется" нужно рассматривать не только в техническом плане, но и в контентном. Если страница не отвечает на запрос пользователя, то очевидно, ей в поиске делать нечего.
- Проверка индексации сайта в Гугле - это процесс не двух нажатий, а следствие тщательного анализа различных источников, главные из которых - Search Console, Яндекс Вебмастер (для сравнительного анализа), Метрика или Аналитика.
- Первостепенную важность имеют запросы, а не наполнение поиска Google страницами вашего сайта.
