Поисковая индексация сайта

Индексация - процедура добавления данных о веб-ресурсе в общую поисковую базу. Индексирование осуществляет робот поисковика.

Работы по SEO делятся на проработку внешних и внутренних факторов, по которым определяются позиции сайта в рейтинге. Управление индексацией проекта – это взаимодействие настроек ресурса в его главном файле (можно сказать «верстки») и поисковых краулеров. Присутствие сайтов в индексе поисковых систем продумывается разработчиками еще на стадии создания структуры проекта, верстки и формирования стратегии продвижения. Такая предусмотрительность делает работу ресурса в сети комфортной и успешной.

 

Методы добавления в индекс

ЛСА-методика - латентно-семантический анализ. Он предполагает обработку данных на естественном языке. С помощью данного анализа определяются логические связи между набором документов и терминологией, встречающейся в них, сопоставляются определенные факторы по всей базе. Для классификации ЛСА-методика используется для выявления значений контекстно-зависимых единиц благодаря обработке крупных текстовых массивов.

ВЛСА - вероятностный ЛСА анализ. Данный метод анализирует взаимосвязи двух типов информации. Используется в обработке речи, машинном обучении и информационном поиске.

 

Как ускорить индексацию сайта:

  • Добавить веб-ресурс в поисковики и социальные закладки;
  • Зарегистрировать площадку в популярных каталогах и сервисах, в том числе Я.Вебмастер;
  • Осуществить внутреннюю перелинковку;
  • Обеспечить правильную структуру ресурса с доступом к любой страничке максимум за три клика от главной;
  • Проводить рассылки с линками на ресурс.
  • Вести блог - систематически наполнять сайт новым контентом;
  • Организовывать RSS-трансляции.
 

 

Как ограничить индексирование:

  • Задать инструкции в файле Роботс - простейший способ ограничения индексации. Он позволяет запретить добавление в индекс нужных страниц и директорий, оградить от них поисковых ботов;
  • Включение тега noindex. Исключает индексацию для конкретной страницы;
  • Установка пароля. Позволит отсечь поисковых роботов от контента на сайте;
  • Установка 301-го редиректа. С его помощью можно перенаправить роботов поисковиков и пользователей на другие странички.

 

О работе поисковых краулеров

Яндекс, Google, другие системы разработали алгоритмы, по которым данные по сайтам собираются, анализируются и отображаются в рейтинге на определенных позициях. Поисковая выдача – это результат работы краулеров, где первыми показываются лучшие проекты системы по конкретным запросам. Googlebot, StackRambler, YandexBot и прочие имеют четкие параметры, которым должен отвечать любой сайт, чей владелец хочет зарегистрироваться, ранжироваться и продвигаться в системе. Поэтому первое, о чем надо позаботиться разработчикам – это создание условий для успешного сканирования сайта и добавления ресурса в индекс.

В алгоритм обработки проекта входит и такой показатель, как частота посещения проекта краулером. Абсолютной величины или строго установленного временного периода нет, но есть факторы, которые наиболее влияют на конечный результат:

  • число страниц, рекомендуемых к индексированию;
  • посещаемость;
  • регулярность обновления контента.

Когда на сайт добавляются страницы, поисковые боты узнают о них из таких источников:

  • ссылки, ведущие к новым записям из уже известных ботам документов;
  • переходы с разных площадок (социальные сети, форумы, прочие).

Поисковые системы заинтересованы в стабильной работе проектов. Поэтому ставится цель – не нарушать функционирование сайта проверками. Считается, что краулеры могут создать проблему, слишком загрузив сервер частыми запросами. С этим связывают такие факты:

  • число страниц, которое проверяется за одно посещение, ограничено (точные цифры неизвестны);
  • сканирование часто происходит в ночное время.

Гэри Илш - представитель компании Google, в одном из интервью приоткрыл завесу секретности о том, как определяется число сканируемых страниц для каждого сайта. Все происходит через Краулинговый бюджет. В процессе анализа сайта боты опираются на реальные факторы:

допустимая скорость сканирования сайта, что может зависеть не только от качества выполненных работ;

спрос внутри самой компании Гугл (сколько страниц краулер хочет просканировать), за основу берется трафик проекта и другие показатели.

При этом Гугл определяет Краулинговым бюджетом, не желаемый, а возможный результат. Допустим, на сканирование дается максимальный период времени – 100 минут. Число пройденных записей за этот период и будет краулинговым бюджетом проекта. Если сайт ускорится к следующей проверке, то его лимит увеличится, но тоже не сразу, а через несколько недель. Причем, существует и конечное значение (больше страниц за один подход бот не может сканировать).

Для оптимизаторов важно контролировать ряд внутренних факторов, которые непосредственно влияют на снижение краулингового бюджета:

  • наличие в доступе к индексации записей, где адрес содержит «лишнюю» информацию;
  • дубли документов или просто контента;
  • неправильно оформленные страницы с ошибкой 404;
  • низкое качество страниц, спам, прочее.

К «лишней» информации относятся адреса, где указаны:

  • идентификатор сессии (используется на страницах с отключенными cookies, но практически с теми же целями – сбор инфо о пользователе);
  • элементы фильтрации;
  • UTM-метки, используемые для отслеживания маркетинговых кампаний сети.

 

Управление индексацией: как реализуется?

Алгоритмы поисковой системы научились подстраиваться к работе сайта так, чтобы не вызывать его падения или возникновения других технических проблем. В свою очередь, оптимизаторам выгодно учитывать введенные ограничения по количеству страниц, другие особенности. Один из важных принципов, рекомендуемых к соблюдению, – оставлять открытыми к индексации только те документы ресурса, которые принимают участие в его поисковом продвижении.

 

Предпочтения: как о них заявить ботам?

Внутренняя перелинковка позволяет управлять приоритетами в показах страниц в выдаче. Кроме организации самого процесса ссылочного взаимодействия, необходимо настроить канонические адреса записей, которые считаются предпочтительными при индексировании. Но использовать canonical url надо не всегда, а лишь в случае, если сайт содержит одинаковые страницы. Примером таких записей служит следующее:

  • пронумерованные страницы (чтение книги, законов РФ, статей в блоге);
  • документы, чьи адреса содержат UTM-метки (свойства товаров);
  • наличие на сайте фильтров (похоже на предыдущий пункт, но имеет некоторые особенности);
  • прочие.

Важно. Производить настройки необходимо в разделе head. Иначе поисковый бот проигнорирует пожелание оптимизаторов. Используют код такого вида:

Если документ не должен появляться прямо в выдаче, то поисковому боту сообщается канонический адрес.

 

Роль Robots.txt в индексации

Файл роботс существует практически у каждого сайта, где есть необходимость держать в секрете хоть самую малость информации. Иначе поисковые краулеры считают, что сайт подобен коробке, а все содержимое можно извлекать, использовать, делать доступным общественности.

Внутри файла работают директивы, с помощью которых и управляют индексацией сайта. Кроме того, есть ряд параметров, которые обеспечивают корректность взаимодействий. Например:

  • клиентское приложение User-Agent указывает поисковую систему, краулеру которой относится конкретное сообщение;
  • директива Disallow сообщает о страницах, которые нежелательно индексировать;
  • ранее Crawl-delay использовали для снижения нагрузки на сервер, сегодня Яндекс и Гугл игнорируют эту директиву, но некоторые все равно прописывают;
  • для Яндекса прописывают Clean-param, которая запрещает индексировать записи с заданными динамическими параметрами.

Подробнее о том, как настраивать файл robots.txt мы расскажем в одной из следующих публикаций.

 

Управление индексацией нужной страницы

Самый простой инструмент для демонстрации ботам собственных приоритетов – это мета-тег Robots. С его помощью управляют индексацией конкретной страницы. Указание для ботов записывается в том же разделе head:

Могут присваиваться параметры из таблиц (для Яндекс и Гугл отдельно).

 

Если в коде страницы нет мета-тега robots, то краулеры воспринимают это, как разрешение на индексацию документа, при сканировании следуют по ссылкам. Но следует учитывать, что данный инструмент не отменяет факта проверки страницы (простого ее прочтения). Значит, расходуется краулинговый бюджет. Поэтому оптимизаторы считают, что мета-тега robots больше подходит для закрытия ссылок от перехода по ним.

 

Рекомендации по выбору способов

Очень кратко. Все данные обобщены и приведены в таблице.

Настройка инструментов для управления индексацией считается выполненной успешно, если после ее проведения наблюдается эффективное взаимодействие с поисковыми системами.

 

Контроль над индексацией

Убедиться в корректности показов документов в выдаче можно несколькими способами.

 

Панели Вебмастера Яндекса и Google

Обе поисковые системы дают возможность проверять индексацию. Яндекс.Вебмастер предлагается проверять такие параметры:

  • общее количество документов, успешно прошедших сканирование;
  • настройка мониторинга изменений важных записей с точки зрения маркетинга или по иным признакам;
  • проверка статуса URL конкретных страниц;
  • выявление причин удаления записей из индекса.

По последнему пункту выделяют такие ошибки оптимизации:

  • наличие дублей;
  • некорректная переадресация;
  • неправильная настройка канонических и нет страниц;
  • случайное закрытие записей от индексации в файле robots.txt.

Эти данные позволяют понимать уровень возникших ошибок, устранять их без переписки с администрацией проекта, возвращать документы в индекс.

Предложения Google для вебмастеров не столь перспективны. В специальной консоли можно проверить лишь следующее:

  • общее число проиндексированных записей;
  • количество закрытых страниц в robots.txt.

Данных по документам отдельно не предоставляется. Поэтому в случае возникновения проблем, оптимизаторам приходиться вручную искать страницы, выпавшие из индекса.

 

Поисковые операторы

Получить информацию о числе индексируемых страниц могут даже конкуренты, для этого им нужен лишь URL главной страницы. Действие выполняется при помощи специальных операторов, которые максимально уточняют запрос. Например, «site:». Если разница в данных между двумя выдачами многократна, значит, сайт имеет проблемы с технической оптимизацией. Альтернативно, продвижение проекта заточено под работу только одной системы из соображений стратегии раскрутки, по иным объективным причинам.

Оператор «url:» в Яндексе используют для определния статуса конкретной записи.

 

Панель инструментов RDS бар

Плагин разработан для пользователей браузеров: Opera, Google Chrome и Mozilla Firefox. Добавляется, как вспомогательная панель инструментов. Требуются: специальная, но простая установка, после настройка. При использовании вебмастеру доступны такие данные:

  • объемы присутствия сайта в Яндекс и Гугл (отдельно);
  • статус текущей записи;
  • количество ссылок на сайт (для обеих систем поочередно);
  • индекс в других поисковиках (Alex, Bing);
  • прочие полезные параметры.

 

Утилиты для работы с проблемами сайта

Процесс внутренней оптимизации часто выполняют на полностью автоматическом уровне. Выявление ошибок ресурса не составляет исключения. Инструменты помогающие находить и устранять проблемы индексирования иногда называют парсерами.

Эксперты рекомендуют Netpeak Spider. Софт позволяет проверять отклики страниц, находить канонические адреса, определять открытость страницы в robots.txt, а также параметры в мета-тега robots (включен индекс и следование по ссылкам или нет).

Программа Comparser используется для углубленного изучения индексации сайта. Оптимизаторам доступны следующие функции:

  • проверка всех страниц;
  • выявление документов, присутствующих в рейтингах ПС, но не имеющих внутренние ссылки;
  • автоудаление из индекса страниц, представительство которых в рейтингах ПС нежелательно.

 

Почему теряется индексация?

Для SEO продвижения важны внутренние параметры сайта. Например, перелинковка сильно влияет на юзабилити проекта, его маркетинговые преимущества, в итоге: трафик. Но участвовать в ссылочном процессе, сформированном внутри проекта, могут только проиндексированные записи. Некоторые из схем перелинковки перестают работать при выпадении всего лишь одного звена. Другие работают даже при трех закрытых от индекса документов. В любом случае, событие снижает объемы поискового трафика, как следствие, числа продаж или заявок.

Основные причины выпадения страниц из индекса выглядят так:

  • некорректно настроены отклики 301 или 302 (ведут не на посадочную страницу, а на другую);
  • наличие дублей контента;
  • ошибка в работе оптимизаторов (страницы по недосмотру оказываются закрытыми от сканирования, способ значения не имеет);
  • неправильная настройка документа с ошибкой 404;
  • сбои в работе хостинга.

Ранее описаны мероприятия, которые помогут предотвратить удаление страницы из индекса. Если такое событие все-таки состоялось, рекомендуется действовать по следующему шаблону:

  • выявить причину удаления;
  • исправить ошибки;
  • направить документ на индексацию (повторно или впервые).

 

Способы получения индексации быстрее обычного

Новую или исправленную запись можно добавить в рейтинги поисковиков в ускоренном режиме. Для этого предлагается использовать такой алгоритм:

  1. Внести добавления в файл sitemap.xml + дата исправлений и указание на заинтересованность в индексировании.
  2. В Яндексе документ отправляется запрос на «Переобход страниц».
  3. Формирование ссылочной массы из внешних источников на желаемый к добавлению в индекс документ.
  4. Добавление ссылок из социальных сетей (хотя сегодня с этим инструментом надо действовать аккуратно, есть новые тонкости настройки).
  5. Создание условий для высокой посещаемости даже если она обеспечивается за счет электронной рассылки.
  6. Улучшение качества внутренней перелинковки.

 

Подведем итог

Управление индексацией – это основной козырь, которым владеют опытные оптимизаторы. Умение выводить сайт по большому числу запросов в ТОП выдачи базируется на грамотной перелинковке, верстке, профессиональных приемах. О некоторых секретах оптимизаторов рассказано в этой статье.

Если с вашим сайтом приключилась беда, некоторые страницы оказались удаленными из индекса, обратитесь к нашим менеджерам и они помогут исправить ситуацию.


Сегодня актуальны и другие методы блокировки индексации.

Оцените статью: 5.0 (6)
СТО: жизнь сайтов автомобильной тематики в условиях высокой конкуренции
Автоматизация SEO процессов: как лучше управлять бюджетом
Быстро определяем причины проседания трафика: пошаговая инструкция
Технология Fast Index от Topodin.com
Написать статью для вас?
Отправьте заявку на статью: если проблема окажется актуальной и массовой – мы опишем ее решение и разместим статью на сайте.
Хочу статью
При заказе
продвижения
Скидка на
разработку
сайта
Заказать
Приведи
друга
получи
скидку
Подробнее
Специальное
предложение
против
вируса
Получить кп
SEO на экспорт

Эта книга о том, для чего, кому и как именно нужно выходить за рамки Рунета. В книге мы рассмотрели практические аспекты продвижения сайта в Буржунете, раскрыли характерные отличия от «раскрутки» сайта в России.

SEO на экспорт
SEO на экспорт

Эта книга о том, для чего, кому и как именно нужно выходить за рамки Рунета. В книге мы рассмотрели практические аспекты продвижения сайта в Буржунете, раскрыли характерные отличия от «раскрутки» сайта в России.

В книге вы найдете развенчание некоторых распространенных мифов, ответы на основные вопросы о том, где брать англоязычный контент, как работает Google за рубежом, тонкости работы с инструментарием продвижения, будущее ссылочного ранжирования и многое другое.

Читать дальше
Последний SEO-чеклист

Эта книга - самый обширный и затрагивающий ключевые аспекты работы сеошника чек-лист. С одной стороны - это пособие для обучения и проверки собственных знаний в сфере SEO-оптимизации и продвижения. С другой - это должностная инструкция и инструмент контроля для руководителя, который легко поймет, что нужно требовать от квалифицированного SEO-специалиста.

Последний SEO-чеклист
Последний SEO-чеклист

Эта книга - самый обширный и затрагивающий ключевые аспекты работы сеошника чек-лист. С одной стороны - это пособие для обучения и проверки собственных знаний в сфере SEO-оптимизации и продвижения. С другой - это должностная инструкция и инструмент контроля для руководителя, который легко поймет, что нужно требовать от квалифицированного SEO-специалиста.

В книге предложены чек-листы по основным видам работ в сфере поискового продвижения, включая подготовительную работу, формирование семантики, техническую оптимизацию, наращивание ссылочной массы, проверку коммерческих факторов, контент-маркетинг и базовые моменты SMM.

Читать дальше
Черная книга про белый PR

Это книга об управлении репутацией в интернете, в которой рассмотрены главные технологии этого направления деятельности, затронуты этические и глобальные аспекты современного информационного общества. В ней рассмотрена работа с основными сервисами мониторинга, раскрыты правила отработки негатива и создания позитива о бренде, главные инструменты SERM, предложен чек-лист для самостоятельной работы и многое другое.

Черная книга про белый PR
Черная книга про белый PR

Это книга об управлении репутацией в интернете, в которой рассмотрены главные технологии этого направления деятельности, затронуты этические и глобальные аспекты современного информационного общества. В ней рассмотрена работа с основными сервисами мониторинга, раскрыты правила отработки негатива и создания позитива о бренде, главные инструменты SERM, предложен чек-лист для самостоятельной работы и многое другое.

Книга будет интересна владельцам бизнеса и публичным людям, пиарщикам, маркетологам, SEO-специалистам и всем пользователям сети, которые задумываются о вопросах имиджа и репутации.

Читать дальше
Обучение основам копирайтинга

Об эре контента в интернете не рассказывают только ленивые. Без адекватных текстов сегодня не станут успешны как информационные порталы, так и интернет-магазины в большинстве ниш.

Обучение основам копирайтинга
Обучение основам копирайтинга

Об эре контента в интернете не рассказывают только ленивые. Без адекватных текстов сегодня не станут успешны как информационные порталы, так и интернет-магазины в большинстве ниш.

Вместе с тем большой спрос на копирайтеров и перспективы солидных заработков настолько велики, что обучаться профессии хотят чуть ли не все от мала (старшеклассников и выпускников школ) до велика (пенсионеров и пожилых людей, освоивших азы владения ПК).

Читать дальше
Как подготовить сайт к эффективному продвижению

В книге рассмотрены главные нюансы подготовки сайта к раскрутке в поиске. Это сборник практических рекомендаций и советов, который позволит достичь ожидаемых результатов от интернет-продвижения и окупить все вложения.

Как подготовить сайт к эффективному продвижению
Как подготовить сайт к эффективному продвижению

В книге рассмотрены главные нюансы подготовки сайта к раскрутке в поиске. Это сборник практических рекомендаций и советов, который позволит достичь ожидаемых результатов от интернет-продвижения и окупить все вложения.

Вы узнаете, как практически за день подготовить ресурс к SEO, каким образом находить и устранять ошибки, снижающие эффективность любых последующих маркетинговых действий, что нужно исправлять и менять в первую очередь и обязательно, а какие моменты - не столь критичны и важны. Книга ориентирована на представителей бизнеса, владельцев сайтов и начинающих оптимизаторов.

Читать дальше
Комментарии
Показать сначала:
Новые Старые
Nikolai
27.06.2016, 15:57
0
–  0
А зачем необходимо ограничивать индексирование? Я впервые хочу воспользоваться услугами по раскрутке сайта и только изучаю методы продвижения компании.
Владислав (SEO Topodin)
26.12.2015, 18:36
0
–  0
Алгоритмы меняются вне зависимости от SEO компаний, есть определенные виды работ, выполнение которых влияет на скорость индексации. На выполнение работ гарантия дается.
Борат
25.12.2015, 00:33
0
–  0
А где гарантии, что условно положительная индексация наступит через месяц? Имеет ли клиент страховку на данный случай?
Написать комментарий
captcha

Новые исследования

2020-01-20 21:00:00

Колдунщики и специальные элементы: польза или «польза» для сайта

Главная задача оптимизации сайта – занять лучшее место на первой странице поиска из всех возможных. Причем в конкретном случае мы не имеем в виду ТОП-1 или ТОП-10.
Читать 64

2019-12-14 21:00:00

Google отбирает трафик у сайтов: подтверждения и как сохранить посещаемость

Поисковая система Гугл регулярно вносит изменения в работу собственных алгоритмов. Еще на майской конференции  Google I/O 2019 анонсировали изменения для мобильных версий сайтов, которые предположительно приведут к монополизации трафика этой компанией. Но, как говорится, чем дальше в лес, тем больше дров. Оптимизаторы на многочисленных публичных мероприятиях высказывают опасения, находящие подтверждения, по поводу концентрации трафика на поисковой выдаче. Поскольку угроза для работы сайтов кажется вполне реальной, стоит разобраться в вопросах допустимости монополизации трафика, а также возможностях противостоять этому факту.

Читать 56
Больше исследований

Интервью и мнения SEO-гуру

Для глубокого погружения в профессию оптимизатора, мы настоятельно рекомендуем совмещать чтение с просмотром видео.

Евгений Аралов: главные прогнозы на 2020 (сервисы и методы)

Далеко не каждый специалист может быстро и качественно продвинуть сайт в непростой тематике. Например, букмекерская площадка для ставок в спорте, где SEO чуть ли не ед...

Анализ SEO для СМИ: ведущий эксперт отрасли Галина Бакушева

Для одних Галина Бакушева ассоциируется с каналом Телеграм «Сеошница», для других, она создатель собственного ТВ на фейсбук. Однако такая популярность не г...

Ксения Пескова: качественный продукт приятно рассматривать даже краулерам

Всего два года потребовалось, чтобы стажер SiteClinic, Ксения Пескова, стала не просто тимлидом компании, но и трастовым экспертом в области SEO. Все началось почти ср...

Кирилл Рамирас: лучшие рекомендации по ведению блога для ИМ

Кирилл Рамирас интересен владельцам бизнеса в сети своими успешными проектами, опытом работы в SEO с 2007 года. Регулярное обновление публикаций на Altblog.ru &nd...

Алексей Алексеич: рост и боль в продвижении 2020 - какие прогнозы сбылись?

Сам о себе говорит, что он точно не Андрей, любит котов и смотрит «Битву Престолов». Если серьезно, эксперту 25 лет и с 2011 года основательно занимается с...

Андрей Буйлов: проблемы seo клиента не волнуют!

Андрей Буйлов – известный в сети эксперт по SEO продвижению сайтов. Свою карьеру начинал в конце 90-х. Тогда будущий спикер разнообразных конференций, семинаров ...

Все интервью
Нам доверяют крупные международные компании