Удаление страниц из индекса Гугл и Яндекс

И сразу к сути - к действенным и проверенным способам удаления страничек из индекса поисковиков:

1. С использованием онлайн-инструмента для Вебмастеров.

Самый логичный вариант изъятия из индекса веб-страниц - это использование сервисов поисковых систем - Я.Вебмастера и гугловского WebmasterЯндекс.Вебмастер - онлайн-сервис компании Яндекс, предназначенный для владельцев и веб-мастеров сайтов. Выполнен как панель инструментов, помогающая в настройке…Перейти к словарю терминов ToolsЦентр вебмастеров Гугл или Google webmasters tools (часто используется сокращение GWT) - сервис компании Google с набором инструментов для владельцев, администраторов,…Перейти к словарю терминов

Разбираем подробнее, как это делать в Гугле и Яндексе.

Заходим в сервис Гугла, переходим в раздел "индексИндексация - процедура добавления данных о веб-ресурсе в общую поисковую базу. Индексирование осуществляет роботПоисковый робот (бот, веб-паук, краулер) - программное обеспечение, часть поисковой машины, используемая для перебора веб-страниц для их занесения (вместе с…Перейти к словарю терминов поисковика. Работы по SEO делятся на проработку…Перейти к словарю терминов Google", там выбираем подраздел "удалить URLUniform Resource Locator или сокращенно URL - это стандартизированный, принятый повсеместно способ прописки адреса веб-сайта в глобальной сети. В дословном переводе термин…Перейти к словарю терминов -адреса". Навигационное меню расположено справа. Затем выбираем пункт на страничке - "создать запросЗапрос — слово или символ, вводимое в строке выдачи.Используется расширенный поиск:1) Оператор  «+» (или кавычки) перед требуемым словом ищет запросы с…Перейти к словарю терминов на удаление". Сюда вставляем "Урл", который нам не нужен в индексе. И подтверждаем запрос.

Все, эта страница теперь добавлена в очередь на удаление и находится в статусе ожидания. Единственный логичный вопрос - сколько времени ждать? Долго не придется. Уже через несколько часов - до 8 - вместо статуса "ожидания" появляется "завершено".

Данный способ прост и удобен одновременно. Даже если нужно удалить большое число страничек из индекса, то особо много времени на это не потребуется. На собственной практике таким способом удалили более 1000 страничек - да, немного рутинно, но не сложно.

В Яндексе нужно перейти в раздел "Удалить URL". По аналогии с сервисом Гугла следует добавить нужный адрес в специальную строку и нажать на кнопку "Удалить".

В результате может быть получен ответ, что оснований для удаления нет, а чтобы ускорить процедуру нужно внести изменения в файл Роботс (запретить индексацию) или настроить ошибку 404Ошибка 404 или Not Found означает, что запрашиваемый ресурс может быть доступен в будущем, что не гарантирует прежнее содержание, а на данный момент доступа к нему нет.…Перейти к словарю терминов . Следовательно, с Яндексом придется немного "потрудиться", выполнив его рекомендации.

Эти же способы - с файлом Роботс и ошибкой 404 сами по себе - альтернативный способ удаления страничек из индекса. Так что их мы также рассмотрим.

2. Robots.txt

Данный файл - важнейший и нужнейший инструмент, если вопрос касается запрета или разрешения индексации всего веб-ресурса и отдельных веб-страниц/разделов поисковыми роботами.

За запрет индексации либо исключение определенных страниц или целых разделов веб-ресурса в файле Роботс нужно прописывать функцию «Disallow:». Указав после этого URL-адрес одной страницы - вы исключите из индекса только её. Также можно ограничивать индексацию целого раздела.

Ещё одна важная особенность - Роботс учитывается обоими ведущими поисковиками Рунета - и Яндексом, и Гуглом.

Примеры прописывания функции:

• закрыть страницу:

User-Agent: *

Disallow: /page1.html

• закрыть раздел:

User-Agent: *

Disallow: site.ru/razdel

Выполнить эти операции под силу каждому. Но в целом в Роботс и работе с ним есть масса технических нюансов, знаниеНабор формул, в соответствии с которыми осуществляется формирование выдачи и ранжирование веб-страниц. Основная задача алгоритма ПС - продемонстрироватьПерейти к словарю терминов которых поможет и сеошнику, и оптимизатору, и просто веб-мастеру.

3. Ошибка 404

Ещё один способ запретить индексироватьКэш поисковика (в переводе с английского "тайник") - весь перечень данных, содержащихся в данный момент в поисковой системе. Информация, считанная,…Перейти к словарю терминов страницу - создать для неё ошибку 404. В данном случае, при следующем приходе поискового бота по данному адресу и получении ошибки сервера 404, автоматически произойдет удаление веб-странички из индекса.

Ответ с данной ошибкой от сервиса задается по умолчанию. В противном случае на веб-ресурсе может появиться много дублей, что негативно скажется на раскрутке и помешает эффективному наращиванию трафика.

Использование данного метода удаления страничек из индекса потребует больше времени. По сути нужно ждать, пока боты снова не придут по этому адресу.

Описанные выше методы - основные и используемые чаше всего. Но на практике периодически прибегают и к другим вариантам, а именно:

• использованию тега robotsRobots.txt (в русскоязычной транслитерации - "роботс") - файл, позволяющий регулировать индексацию веб-ресурса ведущими поисковиками. Этот текстовый документ…Перейти к словарю терминов ;

• редиректу 301Случается такое, что веб-страница или весь сайт целиком переезжает на новый URL-адрес навсегда. 301 редирект — это перенаправление на другой адрес сайта.
  
  Редирект…Перейти к словарю терминов ;

• X-robots-Tag.

Если вам необходимый 100% эффект, то лучше использовать три основные метода сразу - сервисы вебмастеров, настройку файла Роботс и 404-ую ошибку. Это ускорит процесс.

Ещё одна альтернатива - собственно удаление страницы с постановкой заглушки. Правда, оперативному удалению из индекса это не способствует, так что лучше помочь поисковикам описанными действиями.