Удаление страниц из индекса поисковиков (Яндекс и Google) - явление для владельца сайта обыденное. Сайт - динамичный "организм" контента, в котором часто что-то меняется, устаревает и обновляется. Чтобы не было в поисковом индексе свалки из ненужных ссылок, надо чётко представлять, какие средства поисковики дают для очистки выдачи от ненужного.
Удаление страниц в Яндексе
1. Запретить для сканирования и индексирования можно через robots.txt. Этого достаточно, чтобы ненужная страница исчезла из поиска.
User-agent: YandexBot2. Запретить для сканирования и индексирования можно через параметр noindex для метатега robots.
Disallow: /page.html
<meta name="robots" content="noindex, follow"/>
3. На удалённой странице отдать код 404. Более нигде блокировать её не нужно.
4. Запросить удаление URL, если ничего из выше перечисленного не помогло, и страница до сих пор в выдаче поисковика.
Удаление страниц в Google
1. Как чистить мусор (robots.txt, метатег robots, канонические ссылки, 404)
2. Google поддерживает x-robots-tag. Применимо для удаления файлов (doc, pdf и т.д.) в результатах поиска.
3. Через Search Console в Удалить URL-адреса. Данный инструмент следует использовать осторожно и удалить только те страницы, которые содержат конфиденциальную информацию пользователей. Для остальных случаев использование инструмента может быть опасным.
См. статью "Как удалить или обновить устаревшую информацию в Google".