Ксения Пескова: качественный продукт приятно рассматривать даже краулерам

Свое собственное предназначение видит в помощи владельцам сайтов, развивающих бизнес в сети. Ксения ставит перед собой основные задачи, выполнение которых обязательно по отношению к проектам клиентов: лояльность поисковых систем к ресурсам; релевантностьРелевантность - это показатель соответствия SERP (поисковой выдачи) пользовательским ожиданиям. По тому, насколько показанные ссылки в результатах поиска отвечают…Перейти к словарю терминов страниц запросам пользователей; эффективность работы с высокой прибылью. Иначе жизнь сайтов в интернете кажется бессмысленной.

Качество выполняемых работ ставится в приоритеты специалиста. Убедиться в стремлении тимлида к совершенству можно по статьям, опубликованным на сайте компании SiteClinic. Впрочем, имя эксперта уже на слуху у многих оптимизаторов, часто упоминается в статьях популярных авторов. К мнению Ксении прислушиваются не только новички, но также бывалые в области SEO.

Нам импонируют девиз эксперта: «Per aspera ad astra». Что по-русски означает «сквозь тернии в звездам». Привлекает высокая продуктивность автора, охватывающего львиную долю проблем в продвижении. Некоторые из них интересуют и читателей Топодин.

Способы увеличения краулингового бюджета

Этой теме посвящена большая статья в нашем блоге. Однако всегда полезно поучиться у ведущих специалистов, чтобы улучшить собственные проекты. Мы не просто так обратились к мнению Ксении, как эксперта. Одна из основных ее задач – написание скриптов для сайтов. Это позволяет использовать факты, точно проверенные на практике.

Суть проблемы

Ежедневно краулеры систем сканируют миллиарды страниц. Для продвижения сайта считается важным, как много записей обходят поисковые боты во время контрольного посещения. Окончательные результаты влияют на число проиндексированных страниц, скорость ознакомления системы с обновлениями на сайте. В итоге, совокупность факторов выводит проект на заслуженное место в поисковой выдаче. Для молодых сайтов контрольное сканирование – это дополнительная возможность ускорить раскрутку проекта.

Разница в работе краулеров (алгоритмов) между Google и остальными системами становится все более ощутимой. Эксперты все чаще упоминают, что число обойденных страниц ботами Гугл в десятки меньше, чем у Яндекса и прочих. Поэтому эксперты хватаются за любую возможность улучшить ситуацию и заставить Googlebot делать краулинговый бюджет для проекта максимальным. Аналогичная ситуация складывается для мобильного бота системы.

Теория глазами эксперта

Ксения Пескова определяет краулинговый бюджет как число страниц, которые хочет и может обойти поисковый бот при посещении. Из практики известно, что параметры желания и возможности не совпадают. Предположим, краулерПоисковый робот (бот, веб-паук, краулер) - программное обеспечение, часть поисковой машины, используемая для перебора веб-страниц для их занесения (вместе с…Перейти к словарю терминов хочет обойти 2000 страниц, а обходит только 500. Причем возможных проблем в такой ситуации 3 и более, а не одна:

• сайт имеет более 100К страниц, требующих индексации или ее пересмотра;
• верстка или какие-то другие причины не позволяют боту выполнить задачу до конца (проще говоря, качество документов недостаточно высоко);
• контентContent - контент или содержимое - собирательный термин, под который подходит все данные на информационных ресурсах - тексты, графика, видео. Разновидности…Перейти к словарю терминов не интересен пользователям, проект имеет низкий органический трафикТрафик (от английского слова traffic - движение на улице) - численность посетителей веб-ресурса. Разновидности трафика Прямой - посетители открывают браузер и…Перейти к словарю терминов .

Если у сайта всего 500 страниц, а бот хочет обойти 2000, проблема сохраняется и тогда:

• разработчик не отслеживает посещения краулеров;
• вместо 500 документов бот сканирует 5-6 записей, далее занимается изучением верстки (зацикливается).

Поэтому независимо от масштаба проекта важно понимать, что и как проверяет краулер: научиться управлять посещениями для улучшения позиций сайта в поиске. С этой целью используются уже существующие программы или написанные по специальному проекту.

Решение

Как эксперт, Ксения рекомендует использовать Power BI. Сначала надо создать проект, после настроить отчеты, один из которых покажет, что происходит с посещениями краулеров (можно отслеживать данные для Яндекс, Гугл, прочих отдельно).

Для понимания бюджета потребуется получение таких сведений:

• какие документы запрашивает мобильный бот Гугл;
• данные о количестве страниц в индексе и статус записей, которые просканированы;
• график динамики посещения сайта;
• число документов, для которых краулеры игнорируют рекомендации из директорий, запрещающих индексирование;
• сколько сканируется страниц, не участвующих во внутренней перелинковке.

Наиболее часто в отчетах встречаются такие ошибки:

• боты попадают на несуществующие страницы типа с кодом 404Ошибка 404 или Not Found означает, что запрашиваемый ресурс может быть доступен в будущем, что не гарантирует прежнее содержание, а на данный момент доступа к нему нет.…Перейти к словарю терминов и т.д.;
• львиная доля доков, за счет которых планируется продвижение, не сканируется;
• иногда и вовсе отсутствие посещений за длительный период времени (особенно мобильным ботом от Гугл), прочие случаи.

Каждая конкретная ситуация выдаст собственный список проблем, исходя из которого и необходимо приступать к исправлению самого проекта. Например, улучшить верстку.

Одна из частых и серьезных ошибок для интернет-магазинов понятна даже новичкам. Она возникает в ситуации, когда на сайте есть множество, иногда до нескольких десятков, документов для товаров, отличающихся одним параметром (цвет, размер, мощность, литраж и прочее). Это так называемые страницы пагинации. Как это сделать должны знать оптимизаторы. Обычно используются рекомендации Гугл. Один из которых, перенаправлениеСлучается такое, что веб-страница или весь сайт целиком переезжает на новый URL-адрес навсегда. 301 редирект — это перенаправление на другой адрес сайта. Редирект…Перейти к словарю терминов Redirect - автоматическое перенаправление аудитории с одной физической веб-площадки на другую. Происходит это так - человек вводит в строчке браузера URL-адрес…Перейти к словарю терминов внимание бота с любой из страниц пагинации на последнюю. Такой документ может содержать все товары одной категории из каталога или что-то более значимое.

Важный вывод

Работа по изучению краулингового бюджета, а точнее результатов его расходования, позволит выявлять и исправлять ошибки. В результате поисковый бот вместо желаемых 2000 страниц просканирует все 150К, что очень важно для общих позиций сайта в выдаче и скорости продвижения молодых сайтов.