Как удалить страницу в поисковике Google— фокус с исчезновением, удаляем страницу из индекса Яндекса. Как удалить страницу из поисковой выдачи Как удалить страницу из поиска

Это крайне актуальная тема. Многие пользуются Яндекс.Строкой в Windows или формой поиска Яндекс в браузере . По традиции, ответы на популярные запросы и поисковые подсказки отображаются в самом поле ввода в виде живого поиска. Это очень удобно, но... поисковые системы, в том числе Яндекс, собирают информацию о ваших интересах в интернете, затем стараются угадать ваши предпочтения с учётом этих интересов. Т.е. стоит один раз поискать рецепт плюшек в яндексе, и в следующий раз как только вы введёте букву "П", выскочит куча подсказок со словом "плюшка". Это косвенно указывает на вашу прошлую поисковую историю и интересы в сети. Иногда компьютер используется несколькими людьми, и не всегда хочется, чтобы другой человек видел вашу историю поиска. Как удалить запросы в поисковой строке Яндекс, если не желаешь делиться своими интересами с другими людьми читай далее.

Мы рассмотрим как быть при использовании поисковой строки в браузере и для поиска в Яндекс на панели задач Windows .

Чтобы подсказки не всплывали в браузере

Как очистить историю браузера вы можете посмотреть на картинках. Или подробнее найти в интернете, если ваш браузер ниже не представлен.

Очистка истории посещений в Mozilla FireFox

Очистка истории посещений в Google Chrome

Очистка истории посещений в Opera

Можно, также, очищать куки после каждого пользования поиском . В таком случае информация о поисковой истории более не будет связанная с вашим браузером. После очищения кук, подсказки поиска не будут нести никакой информации о вас.

Алгоритм таков:

По удалению запросов в Яндекс Строке

В Windows 10 Яндекс.Строка располагается на панели задач , по умолчанию. Яндекс.Строка даёт возможность осуществить поисковый запрос в интернет прямо с панели задач без непосредственного запуска браузера. Ещё строка проводит поиск по папкам на вашем компьютере. И может реагировать на голосовые команды. Довольно удобно, и безопасно, если компьютером пользуетесь только вы.

Откуда Яндекс.Строка берёт поисковые подсказки?

• перечень ссылок по запросу из поиска Яндекс
• ссылки на разделы выбранного сайта
• ответы на популярные запросы Яндекс
• результаты индексации носителей компьютера (HDD, SSD, и т.д.)

Как удалить индексированные страницы из поиска Яндекса и Google?

Иногда по некоторым причинам, необходимо удалить страницы, которые были ранее проиндексированы в поисковой системе. Существует несколько способов.

1. Запретить дальнейшую индексацию страницы.

Можно в файле robots.txt запретить дальнейшую индексацию страницы с помощью следующей строки:

Dis: ваша_страница

Например:

Disallow: /shops/mylikes.html

Данная строка запрещает поисковым системам индексировать страницу mylikes.html находящейся в катологе (папке) shop .

Если же вы хотите полностью запретить индаксацию сайта, а не лишь отдельных его страниц добавьте в robots.txt следующее:

Данный метод позволит запретить поисковым системам сканирование ваших сайтов. Однако в чём минус такой системы - все страницы которые были убраны из индексации на момент добавления соответствующих строк в robots.txt, будут храниться в кэше поисковой системы и так же выводиться в результатах поиска.

2. Удаление страниц сайта из кэша Яндекс и Google.

2.1. Яндекс

Для того чтобы полностью убрать страницы вашего сайта и из индексации и запретить поиск, необходимо для начала удалить (что бы URL вашей страницы отсылал 404) или запретить необходимые страницы в robots.txt. Затем перейти по ссылке http://webmaster.yandex.ru/delurl.xml , где в соответствующей форме введите путь до страницы и Яндекс удалит вашу страницу из результатов поиска, а соответственно и из кэша.

Например если вы хотите удалить из результатов поиска всю туже страницу mylikes.html введите:

http://ваш.сайт/shops/mylikes.html

После этого страница mylikes.html , будет добавлена в очередь на удаление и через несколько дней уйдёт из кэша Яндекса. Таким же образом можно удалить из кэша весь сайт, для этого введите в форму:

http://ваш.сайт/

2.2. Google

Для того чтобы убрать страницы из поиска Google необходимо:

1. Зайти в панель веб-мастера Google.

2. В список добавленных вами сайтов выбрать тот, страницы которого вы хотите удалить из поиска.

3. Слева, во вкладке "Оптимизация " выбрать "Удалить URL-адреса ".

4. Нажмите "Создать новый запрос на удаление ", после чего в окрывшемся окошке введите с учётом регистра путь до страницы.

Будьте внимательны! Указывайте путь в относительном виде. Т.е. Если вы хотите удалить страницу http://ваш.сайт/shops/mylikes.html , введите в форму только /shops/mylikes.html !!!

Если вы хотите удалить весь сайт из результатов поиска, введите в форму / . С помошью одного этого знака вы сделаете запрос на удаление всего сайта.

5. Ожидайте, в ближайшее время ваши страницы уйдут из поиска.

Многие вебмастера рано или поздно сталкиваются с необходимостью удалить из поисковой системы страницы сайта, которые попали туда по ошибке, перестали быть актуальными, являются дублями или содержат конфиденциальную информацию клиентов (причины могут быть разные). Яркий пример тому уже нашумевшая ситуация с Мегафоном, смс-ки пользователей которого проиндексировал Яндекс, ситуация с интернет-магазинами, когда в поиске можно было найти личную информацию клиентов и подробности их заказов, ситуация с банками и транспортными компаниями и так далее…

Не будем касаться в этой статье причин описанных выше казусов, а рассмотрим, как удалить из Яндекса или Google ненужные страницы. Подразумевается, что они пренадлежат вашему сайту, в противном случае необходимо связываться с владельцем нужного ресурса с соответствующей просьбой.

5 способов удаления страниц из поисковых результатов

1. 404 ошибка

Один из простых способов удаления страницы из поиска это удаление её со своего сайта, с условием, что в дальнейшем, при обращении по старому адресу, сервер выдавал 404-ую ошибку, означающую, что страницы не существует.

HTTP/1.1 404 Not Found

В данном случае придётся подождать, пока робот ещё раз не зайдёт на страницу. Иногда это занимает значительное время, в зависимости от того, как она попала в индекс.

Если страница при удалении её из поиска должна существовать на сайте, то данный способ не подходит, лучше использовать другие, представленные ниже.

2. Файл robots.txt

Очень популярный метод закрыть от индексации целые разделы или отдельные страницы это использование корневого файла robots.txt. Существует множество мануалов, как правильно настроить этот файл. Здесь приведём лишь несколько примеров.

Закрыть раздел администраторской панели от попадания её в индекс поисковиков:

User-Agent: *
Disallow: /admin/

Закрыть определенную страницу от индексации:

User-Agent: *
Disallow: /my_emails.html # закрытие страницы my_emails.html
Disallow: /search.php?q=* # закрытие страниц поиска

В случае с robots.txt тоже придётся ждать переиндексации, пока робот не выкинет из индекса страницу или целый раздел. При этом, некоторые страницы могут остаться в индексе, если причиной их попадания туда было несколько внешних ссылок.

Данный метод неудобно использовать в случае необходимости удаления разных страниц из разных разделов, если невозможно составить общий шаблон для директивы Disallow в robots.txt.

3. Мета-тег robots

Это альтернатива предыдущего метода, только правило задаётся непосредственно в HTML -коде страницы, между тегами .

Удобство мета-тега в том, что его можно добавить на все нужные страницы (с помощью системы управления), попадание которых нежелательно в индекс поисковика, оставляя файл robots.txt при этом простым и понятным. Недостаток данного метода лишь в том, что его сложно внедрить для динамического сайта, использующего один шаблон header.tpl, если отсутствуют специальные навыки.

4. Заголовки X-Robots-Tag

Данный метод используют зарубежные поисковые системы, в том числе Google, как альтернативу предыдущему методу. У Яндекса пока нет официальной информации о поддержке этого http-заголовка, но возможно, в ближайшее время будет.

Суть его использования очень похожа на мета-тег robots, за исключением того, что запись должна находиться в http-заголовках, которые не видны в коде страницы.

X-Robots-Tag: noindex, nofollow

В некоторых, часто неэтичных, случаях его использование очень удобно (например, при обмене ссылками и скрытии страницы линкопомойки).

5. Ручное удаление из панели для вебмастеров

Наконец последний, и самый быстрый способ удаления страниц из индекса – это их ручное удаление.

Единственное условие для ручного удаления страниц – они должны быть закрыты от робота предыдущими методами (в robots.txt, мета-теге или 404-ой ошибкой). Замечено, что Google обрабатывает запросы на удаление в течение нескольких часов, в Яндексе придётся подождать следующего апдейта. Используйте этот метод, если вам надо срочно удалить небольшое количество страниц из поиска.

Улучшение юзабилити 404-ых страниц уменьшает показатель отказов. В статье приведены несколько советов, которые помогут сделать 404-ую страницу более эффективной.

Всё о файле robots.txt
Для тех, кто ещё не сталкивался с настройкой файла robots.txt, данный ресурс будет полезной отправной точкой. Здесь собрано много примеров и другой полезной информации.

Яндекс: Использование robots.txt
Официальные примеры использования файла robots.txt от Яндекса. Также там представлены учитываемые Яндексом директивы и другие советы.

Пример использования HTTP -заголовка X-Robots-Tag в Apache.

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Любому вебмастеру рано или поздно может понадобится удалить сайт из поисковика , или удалить одну страницу . Несмотря на то что дело может показаться простым, возникают некоторые сложности. К примеру, при нажатии на кнопку «удалить» в панели вебмастера, Яндекс может ответить «Нет оснований для удаления». Но только вебмастеру подвластна судьба страниц.

Давайте разбираться.

Как удалить из поиска ненужные страницы?

Для начала разберем как сайт попадает в поиск.

Допустим, вы создали свой сайт, заполнили его контентом и сделали некоторую оптимизацию. Вы ждете, когда придет робот поисковика и просканирует ваш сайт. Сканирование сайта подразумевает, что робот посмотрит ваш сайт и запомнит про что он, грубо говоря. После того как сайт просканирован, он попадает в индекс. Иными словами, просканированный сайт попадает в выдачу поисковиков.

Для управления индексацей страниц вашего сайта, вам необходимо соблюсти обязательные условия:

1. Вы зарегистрировали сайт в Яндекс.Вебмастер и имеете доступ к панели вебмастера;
2. На сайте есть файл robot.txt.

Заходим в Яндекс.Вебмастер. Для этого нужно ввести в поиске Яндекс Вебмастер или перейти по прямой ссылке .

Выбираем вкладку «Мои сайты». Если у вас он не один, отобразиться список ваших сайтов, тут выбираем сайт, который хотите удалить из поиска

В слайдбаре, который находится справа, находим ссылку «Удалить URL».

Вводим в форме ссылку на страницу и нажимаем «удалить». Яндекс думает, что вы знаете точный адрес страницы, которую хотите удалить. Предполагается, что произойдет удаление введенной вами страницы и все. Но это срабатывает далеко не всегда. Чаще всего это происходит из-за того, что url введенный в форме не соответствует адресу страницы, которую вы хотите удалить из поиска Яндекса .

Как узнать точный URL страницы?

Для того чтобы узнать адреса всех проиндексированных страниц сайта в Яндексе есть специальная команда «host». В строке поиска нужно написать «host:site.ru». Site – здесь пишем адрес вашего сайта. После выполнения данной команды выводится список всех проиндексированных страниц введенного сайта.

А что если страниц в выдаче больше, чем есть на сайте?

Если в выдаче страниц больше, чем у вас на сайте, значит, некоторые страницы имеют дубли – это одна из самых распространенных причин. Для удаления таких страниц есть два решения:

• Закрыть в robots.txt и Яндекс со временем сам удалит ненужные страницы из поиска . Но это может затянуться надолго.
• Удалить дубли вручную.

Для того чтобы удалить страницу из поиска Яндекса вручную:

1. Заходим на страницу (дубль).
2. Копируем ее адрес.
3. Заходим в Яндекс Вебмастер.
4. Нажимаем на «Мои сайты».
5. Выбираем нужный сайт.

Нажимаем в слайдбаре «Удалить URL » и вставляем в форму адрес дубля страницы.

Возможно, вы увидите такое сообщение:

Как быть в таком случае? Данное сообщение сигнализирует о том, что страница не закрыта от индексации в robots.txt или нет параметра noindex. Закрываем ее и пробуем еще раз. Если все сделано правильно вы увидите такое сообщение.

«URL добавлен в очередь на удаление». Сколько времени займет удаление трудно сказать, зависеть это может как от количества страниц на сайте, так и от самого Яндекса.

Подстраницы, архивы, метки и пр.

Как удалить Replytocom из индекса

Если у вас на сайте древовидные комментарии, в индексе также могут быть страницы с replytocom. Вообще, у меня вместе с ними было 17 000 страниц в индексе, удалив их из индекса на данный момент в Google пока осталось около 2000 страниц. Удалялись долго, почти год. То есть ненужные страницы выпадали по-тихоньку из индекса.

Подобные страницы очень легко удалить с помощью того же самого плагина WordPress SEO by Yoast.

На некоторых сайтах вообще не нужен RSS. Там есть смысл в его отключении. С помощью RSS может попасть всякий шлак в индекс, подобие этого:

Открываем файл functions.php и туда вставляем вот этот код (вставляем перед закрывающим?>):

// Отключаем RSS ленту function fb_disable_feed() { wp_redirect(get_option("siteurl"));exit; } add_action("do_feed", "fb_disable_feed", 1); add_action("do_feed_rdf", "fb_disable_feed", 1); add_action("do_feed_rss", "fb_disable_feed", 1); add_action("do_feed_rss2", "fb_disable_feed", 1); add_action("do_feed_atom", "fb_disable_feed", 1); remove_action("wp_head", "feed_links_extra", 3); remove_action("wp_head", "feed_links", 2); remove_action("wp_head", "rsd_link");

Теперь, если мы увидим страницы вида site.ru/stranica.html/blabla/feed и перейдем на нее, нас перебросит на главную страницу сайта. И Google вскоре исключит подобные страницы из индекса.

Также можно сделать, чтобы перебрасывало не на главную страницу, а на какую-нибудь выбранную (страницу подписки, допустим). Для этого в коде вместо:

Wp_redirect(get_option("siteurl"));exit;

вставляем:

Wp_redirect("http://site.ru/podpiska");exit;

где http://site.ru/podpiska - любая страница, которую вы пропишите.

Как удалить сайт из индекса

Бывает необходимость в том, что сайт молодой и нужно поставить запрет на индексацию до того времени, пока не удалятся "стандартные посты", которые не уникальны, не поменяется шаблон на новый и не добавится десяток страниц по теме. Все это, обычно делается для того, чтобы поисковые системы "скушали" сайт и понимали какая тематика его, направление, структура и пр. с самого начала.

Чтобы исключить весь сайт из индекса, добавьте в header.php до закрывающегося head вот этот код:

Это подойдет, если нужно скрыть определенную html страницу тоже. Например, у вас сверстан какой-либо , отдельно от Вашего шаблона и вам не нужно, чтобы он попал в индекс.

Как ускорить удаление страниц из индекса поисковых систем

Сделанные выше манипуляции исключат появление ненужных страниц в будущем. Старые тоже будут сами "отваливаться" с индекса, но не так быстро, как хотелось бы, если кто-то хочет ускорить процесс и ненужных страниц в дополнительном индексе не так много, то можно поработать немного ручками.

Google

1. Заходим в панель инструментов Google. Там переходим на наш сайт, вкладка "Индекс Google" -> "Статус индексирования":
   
   
2. Здесь можно увидеть, как ненужные страницы выпадают из индекса. То есть общее количество страниц в индексе регулярно уменьшается. Чтобы ускорить процесс удаления страниц из индекса, просто переходим во вкладку "Удалить URL-адреса":
   
3. Там нажимаем на кнопку "Создать новый запрос на удаление":
   
   Обратите внимание, в robots.txt обязательно должно быть прописано правило, которое запрещает индексировать данное содержимое. То есть то, если вы хотите что-то удалить, URL должен стоять под запретом в robots.txt, иначе страница не удалится из индекса.
4. Например, у меня в индексе была страница сайт/category/lichnoe/page/5, ее вставляю в поле и нажимаю "Продолжить":
   
5. В следующем окне, можно выбрать между: удаление только 1 страницы или целого каталога:
   
   
6. Если требуется удалить только страницу, выбираем "Удалить страницу из результатов поиска и из кеша" и нажимаем "Отправить запрос". Вы увидите подобное уведомление:
   
   
7. Повторюсь, должно быть прописано , который запрещает индексировать данную страницу. В моем случае это вот это правило:
   
8. Также вы можете удалить сразу каталог ненужных страниц из индекса. Для этого вставляем не конкретный URL, а к примеру что-то подобное со "звездочкой":
   
   
9. Тем самым, удалится целая рубрика и то, что в ней содержится. Обычно страницы пропадают из индекса в течении 1-х суток. Сроки могут достигать и до 1-ой недели.

Яндекс

В Яндексе принцип такой же. Заходим в "Удалить URL" и там вбиваем URL ненужной страницы, которая попала в индекс Яндекса:

Чтобы страница удалилась из индекса, необходимо, чтобы страница была удалена физически (то есть отдавала , к примеру), либо также была запрещена к индексации с помощью robots.txt или другими способами. Яндекс также удалит страницу из индекса, правда у нее это происходит обычно дольше, чем с Google.

С помощью программы ComparseR

Все эти "ускорения" по удалению страниц с индекса можно сделать с помощью великолепной и не нужно будет сидеть и забивать по одному URL в панели вебмастеров. Программа может позволить удалить ненужные страницы за 1-2 минуты. Очень удобно.

Вывод

В этом уроке я продемонстрировал то, как удалить "мусорные" страницы из индекса, их еще называют "сопли". Их удаляться рекомендуется, но не стоит делать целую драму из этого. А то я помню, как многие истерили по поводу replytocom, мол это какая-то ну ОЧЕНЬ серьезная проблема, грубейшая ошибка в SEO. Я бы это так не назвал, это слишком сильное преувеличение. Просто стремитесь к чистоте поиска, чтобы у Вас на сайте было все пушисто и гладко.

Спасибо за внимание, до скорой встречи! Будут вопросы - с радостью отвечу в комментариях. Пока!

P.s. Нужно продвинуть сайт? Компания Pro Studio - продвижение сайта от профессионалов.