Удаление страниц из индекса Гугл и Яндекс

Не всегда оптимизаторам нужно быстро проиндексировать страницы, чтобы ускорить достижение эффекта от раскрутки. Часто нужно и обратное - удаление страничек из индекса. Востребовано это может быть, к примеру, при покупке нового домена, где будет размещен сайт по совершенно другой тематике, либо же при попадании в индекс той веб-страницы, которая там оказаться не должна. Понадобятся подобные действия и при закрытии неактуальных разделов веб-площадки. О том, как исключить из индекса ведущих поисковиков - Яндекса и Гугла - страницы ресурса, мы и поговорим подробнее, рассмотрев наиболее подходящие для этого способы.

robots txt disallow all
Читать позже

И сразу к сути - к действенным и проверенным способам удаления страничек из индекса поисковиков:

 

1. С использованием онлайн-инструмента для Вебмастеров.

Самый логичный вариант изъятия из индекса веб-страниц - это использование сервисов поисковых систем - Я.Вебмастера и гугловского WebmasterЯндекс.Вебмастер - онлайн-сервис компании Яндекс, предназначенный для владельцев и веб-мастеров сайтов. Выполнен как панель инструментов, помогающая в настройке…Перейти к словарю терминов ToolsЦентр вебмастеров Гугл или Google webmasters tools (часто используется сокращение GWT) - сервис компании Google с набором инструментов для владельцев, администраторов,…Перейти к словарю терминов

Разбираем подробнее, как это делать в Гугле и Яндексе.

 

Заходим в сервис Гугла, переходим в раздел "индексИндексация - процедура добавления данных о веб-ресурсе в общую поисковую базу. Индексирование осуществляет роботПоисковый робот (бот, веб-паук, краулер) - программное обеспечение, часть поисковой машины, используемая для перебора веб-страниц для их занесения (вместе с…Перейти к словарю терминов поисковика. Работы по SEO делятся на проработку…Перейти к словарю терминов Google", там выбираем подраздел "удалить URLUniform Resource Locator или сокращенно URL - это стандартизированный, принятый повсеместно способ прописки адреса веб-сайта в глобальной сети. В дословном переводе термин…Перейти к словарю терминов -адреса". Навигационное меню расположено справа. Затем выбираем пункт на страничке - "создать запросЗапрос — слово или символ, вводимое в строке выдачи.Используется расширенный поиск:1) Оператор  «+» (или кавычки) перед требуемым словом ищет запросы с…Перейти к словарю терминов на удаление". Сюда вставляем "Урл", который нам не нужен в индексе. И подтверждаем запрос.

Все, эта страница теперь добавлена в очередь на удаление и находится в статусе ожидания. Единственный логичный вопрос - сколько времени ждать? Долго не придется. Уже через несколько часов - до 8 - вместо статуса "ожидания" появляется "завершено".

Данный способ прост и удобен одновременно. Даже если нужно удалить большое число страничек из индекса, то особо много времени на это не потребуется. На собственной практике таким способом удалили более 1000 страничек - да, немного рутинно, но не сложно.

В Яндексе нужно перейти в раздел "Удалить URL". По аналогии с сервисом Гугла следует добавить нужный адрес в специальную строку и нажать на кнопку "Удалить".

В результате может быть получен ответ, что оснований для удаления нет, а чтобы ускорить процедуру нужно внести изменения в файл Роботс (запретить индексацию) или настроить ошибку 404Ошибка 404 или Not Found означает, что запрашиваемый ресурс может быть доступен в будущем, что не гарантирует прежнее содержание, а на данный момент доступа к нему нет.…Перейти к словарю терминов . Следовательно, с Яндексом придется немного "потрудиться", выполнив его рекомендации.

Эти же способы - с файлом Роботс и ошибкой 404 сами по себе - альтернативный способ удаления страничек из индекса. Так что их мы также рассмотрим.

 

 

 

2. Robots.txt

Данный файл - важнейший и нужнейший инструмент, если вопрос касается запрета или разрешения индексации всего веб-ресурса и отдельных веб-страниц/разделов поисковыми роботами.

За запрет индексации либо исключение определенных страниц или целых разделов веб-ресурса в файле Роботс нужно прописывать функцию «Disallow:». Указав после этого URL-адрес одной страницы - вы исключите из индекса только её. Также можно ограничивать индексацию целого раздела.

Ещё одна важная особенность - Роботс учитывается обоими ведущими поисковиками Рунета - и Яндексом, и Гуглом.

 

Примеры прописывания функции:

  • закрыть страницу:
User-Agent: *
Disallow: /page1.html
 
  • закрыть раздел:
User-Agent: *
Disallow: site.ru/razdel

 

Выполнить эти операции под силу каждому. Но в целом в Роботс и работе с ним есть масса технических нюансов, знаниеНабор формул, в соответствии с которыми осуществляется формирование выдачи и ранжирование веб-страниц. Основная задача алгоритма ПС - продемонстрироватьПерейти к словарю терминов которых поможет и сеошнику, и оптимизатору, и просто веб-мастеру.

 

3. Ошибка 404

Ещё один способ запретить индексироватьКэш поисковика (в переводе с английского "тайник") - весь перечень данных, содержащихся в данный момент в поисковой системе. Информация, считанная,…Перейти к словарю терминов страницу - создать для неё ошибку 404. В данном случае, при следующем приходе поискового бота по данному адресу и получении ошибки сервера 404, автоматически произойдет удаление веб-странички из индекса.

Ответ с данной ошибкой от сервиса задается по умолчанию. В противном случае на веб-ресурсе может появиться много дублей, что негативно скажется на раскрутке и помешает эффективному наращиванию трафика.

Использование данного метода удаления страничек из индекса потребует больше времени. По сути нужно ждать, пока боты снова не придут по этому адресу.

 

Описанные выше методы - основные и используемые чаше всего. Но на практике периодически прибегают и к другим вариантам, а именно:

  • использованию тега robotsRobots.txt (в русскоязычной транслитерации - "роботс") - файл, позволяющий регулировать индексацию веб-ресурса ведущими поисковиками. Этот текстовый документ…Перейти к словарю терминов ;
  • редиректу 301Случается такое, что веб-страница или весь сайт целиком переезжает на новый URL-адрес навсегда. 301 редирект — это перенаправление на другой адрес сайта.
    
    Редирект…Перейти к словарю терминов ;
  • X-robots-Tag.

 

Если вам необходимый 100% эффект, то лучше использовать три основные метода сразу - сервисы вебмастеров, настройку файла Роботс и 404-ую ошибку. Это ускорит процесс.

 

Ещё одна альтернатива - собственно удаление страницы с постановкой заглушки. Правда, оперативному удалению из индекса это не способствует, так что лучше помочь поисковикам описанными действиями.

Оцените статью: 4.3 (7)
Следующая статья: Как вывести веб-сайт на вершину поисковых подсказок
Предыдущая статья: Продвижение сателлитами и PBN

Рейтинг автора

 

Рейтинг автора

 

745

Автор:

Владислав Высоцкий

   

SEO-эксперт широко известный на территории стран СНГ с особым взглядом на продвижение.

Всего статей:

Note

134

SEO на экспорт

Эта книга о том, для чего, кому и как именно нужно выходить за рамки Рунета. В книге мы рассмотрели практические аспекты продвижения сайта в Буржунете, раскрыли характерные отличия от «раскрутки» сайта в России.

SEO на экспорт
SEO на экспорт

Эта книга о том, для чего, кому и как именно нужно выходить за рамки Рунета. В книге мы рассмотрели практические аспекты продвижения сайта в Буржунете, раскрыли характерные отличия от «раскрутки» сайта в России.

В книге вы найдете развенчание некоторых распространенных мифов, ответы на основные вопросы о том, где брать англоязычный контент, как работает Google за рубежом, тонкости работы с инструментарием продвижения, будущее ссылочного ранжирования и многое другое.

Читать дальше
Последний SEO-чеклист

Эта книга - самый обширный и затрагивающий ключевые аспекты работы сеошника чек-лист. С одной стороны - это пособие для обучения и проверки собственных знаний в сфере SEO-оптимизации и продвижения. С другой - это должностная инструкция и инструмент контроля для руководителя, который легко поймет, что нужно требовать от квалифицированного SEO-специалиста.

Последний SEO-чеклист
Последний SEO-чеклист

Эта книга - самый обширный и затрагивающий ключевые аспекты работы сеошника чек-лист. С одной стороны - это пособие для обучения и проверки собственных знаний в сфере SEO-оптимизации и продвижения. С другой - это должностная инструкция и инструмент контроля для руководителя, который легко поймет, что нужно требовать от квалифицированного SEO-специалиста.

В книге предложены чек-листы по основным видам работ в сфере поискового продвижения, включая подготовительную работу, формирование семантики, техническую оптимизацию, наращивание ссылочной массы, проверку коммерческих факторов, контент-маркетинг и базовые моменты SMM.

Читать дальше
Черная книга про белый PR

Это книга об управлении репутацией в интернете, в которой рассмотрены главные технологии этого направления деятельности, затронуты этические и глобальные аспекты современного информационного общества. В ней рассмотрена работа с основными сервисами мониторинга, раскрыты правила отработки негатива и создания позитива о бренде, главные инструменты SERM, предложен чек-лист для самостоятельной работы и многое другое.

Черная книга про белый PR
Черная книга про белый PR

Это книга об управлении репутацией в интернете, в которой рассмотрены главные технологии этого направления деятельности, затронуты этические и глобальные аспекты современного информационного общества. В ней рассмотрена работа с основными сервисами мониторинга, раскрыты правила отработки негатива и создания позитива о бренде, главные инструменты SERM, предложен чек-лист для самостоятельной работы и многое другое.

Книга будет интересна владельцам бизнеса и публичным людям, пиарщикам, маркетологам, SEO-специалистам и всем пользователям сети, которые задумываются о вопросах имиджа и репутации.

Читать дальше
Обучение основам копирайтинга

Об эре контента в интернете не рассказывают только ленивые. Без адекватных текстов сегодня не станут успешны как информационные порталы, так и интернет-магазины в большинстве ниш.

Обучение основам копирайтинга
Обучение основам копирайтинга

Об эре контента в интернете не рассказывают только ленивые. Без адекватных текстов сегодня не станут успешны как информационные порталы, так и интернет-магазины в большинстве ниш.

Вместе с тем большой спрос на копирайтеров и перспективы солидных заработков настолько велики, что обучаться профессии хотят чуть ли не все от мала (старшеклассников и выпускников школ) до велика (пенсионеров и пожилых людей, освоивших азы владения ПК).

Читать дальше
Комментарии
Показать сначала:
Новые Старые
Оксана
25.09.2021, 10:30
0
–  0
Поисковые боты стали работать фривольно. В одних ситуациях видят noindex, в других нет. Оно, конечно, и правильно: ведь рекомендации, не означают обязательность выполнения. Но с другой стороны, googlebot не сильно то ласков с теми, кто не выполняет рекомендации для веб мастеров.
Лена
23.11.2020, 22:40
0
–  0
Вот со "ошибкой 404" я сталкиваюсь довольно регулярно, теперь хотя бы известно, по какому принципу она работает. Хотя все равно это "страница не найдена" раздражает все же сильно.
Антон
23.11.2020, 22:39
0
–  0
Очень востребованная и нужная статья.Мой друг очень сильно будет доволен, так как он давно желал удалить разделы своего ресурса из таких крупных поисковиков как Google и Яндекс.
Константин
20.08.2016, 12:47
0
–  0
Сделал сайт c новым доменом, старый необходимо было удалить из индекса Google и Yandex. Сразу же стал искать помощь на этом сайте так, как он уже много раз меня выручал. Благодарен за несколько способов и подробное их описание. Проблема решилась быстро.
ЕкатеринаММ
25.07.2016, 11:56
0
–  0
Спасибо за подробно расписанную статью. Воспользовалась первым способом в Google. Все просто и получилось с первого раза. Удалила 4 мешающих страницы. После добавления в очередь удалились через 2 с половиной часа.
Написать комментарий
captcha

Новые исследования

2022-12-16 00:00:00

Вы не поверите: что случилось с Яндексом и загадочным Ya.ru

Тяжело проглотить пилюлю, но траектория развития SERP и оптимизации Яндексом своих поисковых алгоритмов окончательно сошла на нет. Почти невозможно представить, что когда-то давно они стремились разработать алгоритмы и инструменты машинного обучения для улучшения результатов поиска. А, помните этот милый слоган: «Яндекс — найдется все»? Да, теперь он остался в прошлом; это было более простое время… время, когда Яндекс был главным помощником во всем, что касалось поиска. Увы, после 25 лет новаторского прогресса эпоха Яндекса закончилась.

Читать 6

2021-07-11 00:00:00

Продуктовый подход - как кратно увеличить продажи с помощью SEO

Поиски лучших способов продвинуть интернет-магазины, увеличить продажи, конверсии, сумму среднего чека и прочего, привели к рождению “продуктового подхода”. Суть метода заключается в оптимизации процесса реализации всех запланированных мероприятий. На пути к достижению бизнес-целей устраняются лишние этапы и задачи, используется ограниченный набор инструментов. Подробнее о методе далее.

Читать 67
Больше исследований

Интервью и мнения SEO-гуру

Для глубокого погружения в профессию оптимизатора, мы настоятельно рекомендуем совмещать чтение с просмотром видео.

Евгений Аралов: главные прогнозы на 2020 (сервисы и методы)

Далеко не каждый специалист может быстро и качественно продвинуть сайт в непростой тематике. Например, букмекерская площадка для ставок в спорте, где SEO чуть ли не ед...

Анализ SEO для СМИ: ведущий эксперт отрасли Галина Бакушева

Для одних Галина Бакушева ассоциируется с каналом Телеграм «Сеошница», для других, она создатель собственного ТВ на фейсбук. Однако такая популярность не г...

Ксения Пескова: качественный продукт приятно рассматривать даже краулерам

Всего два года потребовалось, чтобы стажер SiteClinic, Ксения Пескова, стала не просто тимлидом компании, но и трастовым экспертом в области SEO. Все началось почти ср...

Кирилл Рамирас: лучшие рекомендации по ведению блога для ИМ

Кирилл Рамирас интересен владельцам бизнеса в сети своими успешными проектами, опытом работы в SEO с 2007 года. Регулярное обновление публикаций на Altblog.ru &nd...

Алексей Алексеич: рост и боль в продвижении 2020 - какие прогнозы сбылись?

Сам о себе говорит, что он точно не Андрей, любит котов и смотрит «Битву Престолов». Если серьезно, эксперту 25 лет и с 2011 года основательно занимается с...

Андрей Буйлов: проблемы seo клиента не волнуют!

Андрей Буйлов – известный в сети эксперт по SEO продвижению сайтов. Свою карьеру начинал в конце 90-х. Тогда будущий спикер разнообразных конференций, семинаров ...

Все интервью
Нам доверяют крупные международные компании

Была ли статья для вас полезна?

Что вы хотите добавить или изменить?

В прошлый раз вы начали заполнять форму заявки, но не закончили. Мы сохранили ваши данные, хотите продолжить оформление заявки?   Продолжить... X

Начало – половина дела

Наша анкета достаточно проста и не отнимет у вас много времени.
Нужно просто правильно и вдумчиво заполнить все поля.

Иконка Звезда Иконка Звезда Иконка Звезда

Форма заполнена на 0%

Базовые данные

Адрес вашего сайта *

Иконка Сохранено

Ваш телефон или e-mail *

Иконка Сохранено

Выберите необходимую услугу *