В процессе индексации сайта, поисковый бот сначала сканирует его, то есть, обходит для изучения контента, а затем добавляет информацию о веб-ресурсе в базу данных. Затем поисковая система формирует поиск по этим базам. Не путайте сканирование с индексацией — это разные процессы поисеовой системы.
Как узнать количество страниц на сайте?
Чтобы понимать, сколько еще страниц вашего проекта не проиндексировано, нужно знать их общее количество. Это позволит понять, как быстро индексируется ваш сайт. Сделать это можно несколькими способами:
- Посмотреть карту сайта. Если она у вас создано, то ее вы найдете по адресу: название_вашего_сайта.ru/sitemap.xml. Здесь показываются в основном показываются все страницы, размещенные на ресурсе. Но иногда карта сайта может генерироваться не правильно, и часть страниц в ней может не быть. Либо в ней могут отображаться только важные страницы.
- Воспользоваться специальной программой. Эти программы сканируют весь ваш сайт и выдают все страницы вашего сайта, пример таких платных программ Screaming Frog Seo, Site Analyzer или бесплатная Xenus Links Sleuth.
Способы проверки индексации сайта
Предлагаю вашему вниманию 4 самых распространенных и простых способа, позволяющие проверить, какие страницы есть в индексе, а какие – нет.
1. Через панель вебмастера
Этим методом владельцы веб-ресурсов проверяют их наличие в поиске чаще всего.
Яндекс
- Авторизуйтесь в Яндекс.Вебмастер.
- Перейдите в меню «Индексирование».
- Под ним найдите строку «Страницы в поиске».
- Зайдите в панель управления сервиса Google Webmaster Tools.
- Выберите свой сайт.
- Перейдите во вкладку «Страницы».
2. Через операторов поисковых систем
Существуют три популярных оператора для проверки индексации:
- Оператор «site:». Показывает количество страниц сайта, проиндексированных поисковой системой. Используется для получения общей информации об индексации всего сайта. Пример: site:domen.ru
- Оператор «info:». Предоставляет дополнительную информацию о сайте, включая количество индексированных страниц. Может показывать ссылки, кэш, сведения о владельце и другие данные. Пример: info:domen.ru
- Оператор «url». Позволяет искать конкретный URL-адрес. Но корректно работает только в Яндекс.
- Оператор «inurl:». Ищет страницы, в URL-адресе которых содержится указанная фраза или ключевое слово. Позволяет находить конкретные страницы на сайте, а не весь сайт целиком. Пример: site:domen.ru inurl:uslugi
Ключевые отличия:
- «site:» — позволяет искать страницы, принадлежащие определенному домену или поддомену.
- «info:» — предоставляет более разнообразную информацию о сайте
- «url:» — предоставляет информацию по указанному URL.
- «inurl:» — ищет страницы, в URL-адресе которых содержится заданный текст.
Таким образом, каждый оператор решает свою задачу и предоставляет уникальную информацию для анализа индексации и состояния сайта в поисковых системах.
Так, применение оператора «site» позволяет увидеть приблизительное число страниц, которые уже находятся в индексе. Чтобы проверить этот параметр, в строке поиска Яндекс либо Google укажите: «site:адрес_вашего_сайта».
Важно понимать, что это не точное кол-во страниц в индексе, а приблизительное. Поэтому не стоит полагаться на точность проверки этого способа.
Для поиска вы также можете использовать дополнительные инструменты, например, чтобы узнать, как изменялась индексация страниц за определенный период времени. Для этого под поисковой строкой нажмите на вкладку «Инструменты» и выберите период, к примеру, «За 24 часа».
А в Яндекс нужно нажать на специальный значок и выбрать период.
3. Посредством плагинов и расширений
Используя специальные программы, проверка индексации веб-ресурса произойдет автоматически. Это можно сделать с помощью плагинов и расширений, еще известных как букмарклеты. Они представляют собой javascript-программы, которые сохраняются в браузере в виде стандартных закладок.
Преимущество плагинов и расширений в том, что вебмастеру нет необходимости каждый раз по новой заходить в поисковик и вводить там адреса сайтов, операторы и прочее. Скрипты произведут все в автоматическом режиме.
Самый простой плагин для Chrome называется «SEO Magic».
Плагин делает тоже самое, если вручную вводить операторы site в поисковую выдачу. Поэтому не стоит доверять на сто процентов этим данным.
4. С помощью специальных сервисов
Я в основном пользуюсь сторонними сервисами, потому что в них наглядно видно какие страницы в индексе, а какие там отсутствуют.
Бесплатный сервис
https://serphunt.ru/indexing/ — есть проверка, как по Яндекс, так и по Google. Бесплатно можно проверить до 50 страниц в сутки. После проверки результаты можно скачать.
Платный сервис
Из платных мне больше всего нравится Topvisor.
Регистрируетесь, добавляете проект. Загружаете в сервис все страницы вашего сайта и он вам покажет, какие находятся в индексе поисковых систем, а какие нет. В сервисе есть подробная документация по проверке индексации.
Выводы
Главная цель владельца любого веб-ресурса — добиться индексации всех страниц, которые будут доступны поисковым роботам для сканирования и копирования информации в базу данных. Реализовать эту задачу на большом сайте может быть очень непросто.
Но при правильном комплексном подходе, то есть, грамотной SEO-оптимизации, регулярном наполнении сайта качественным контентом и постоянном мониторинге процесса включения страниц в индекс поисковиков, можно добиться положительных результатов. Для этого я в этой статье рассказал о всех методах проверки индексации сайта.
Я рекомендую воспользоваться сервисами от самих поисковых систем или сторонними платными, бесплатными сервисами. Оператор «site:» использовать только для примерной оценки индексации сайта, а если хотите проверить несколько URL, то воспользоваться ручным методом с помощью операторов «site+inurl».
Знайте, что, если страницы слишком резко начали вылетать из поиска — с вашим ресурсом что-то не так. Но зачастую проблема таится не в процессе индексации, а в самой оптимизации. Желаете быстро индексироваться и попадать в ТОП выдачу поисковых запросов? Предлагайте целевой аудитории контент, превосходящий конкурентов и добывайте качественные ссылки на эти страницы.
Вопросы и ответы о проверке индексации
Собрал самые популярные вопросы про проверку индексации сайта и страниц, которые мне задают на консультациях. Приводу краткие ответы на них.
