Как правильно скрывать ссылки со своих ПБН
Есть несколько способов скрывать ссылки со своих ПБН, из которых два основных могут заключаться в использовании файла robots.txt из файла .htaccess. Просто помните, что robots.txt — это не то, что будет работать на 100%.
Существует распространенный вариант скрытия ссылок от Ahrefs через файл robots.txt — но мы используем другой метод.
Закрыть через robots.txt
Пример файла robots.txt можно увидеть ниже. Простая команда запрета в текстовом файле для роботов приведет к тому, что эти боты не смогут вообще взять какие-либо данные с вашего веб-сайта. Я перечислил только несколько известных ботов, существует очень много других, и вам нужно будет получить их со своего сервера или нагуглить 🙂
User-agent: * Disallow: rogerbot Disallow: /
User-agent: SemrushBot Disallow: /
User-agent: xenu Disallow: /
User-agent: MJ12bot Disallow: /
User-agent: AhrefsBot Disallow: /
Боты не всегда следуют правилам, установленным файлом robots.txt, поэтому, чтобы гарантировать, что эти боты на 100% не могут сканировать ваш сайт, вы также можете использовать файл .htaccess, чтобы заблокировать доступ этих поисковых роботов к вашему сайту.
Закрыть в .htaccess
Намного лучше заблокировать доступ для проверки обратных ссылок в файле .htaccess. Этот файл не виден никому, кроме вас. Кроме того, блокируя этих поисковых роботов, вы значительно снижаете нагрузку на веб-сервер.
Вот пример того, как это можно сделать. Просто добавьте этот код в свой файл .htacess:
SetEnvIfNoCase User-Agent .*aboundexbot.* botstop
SetEnvIfNoCase User-Agent .*ahrefsbot.* botstop
SetEnvIfNoCase User-Agent .*backlinkcrawler.* botstop
SetEnvIfNoCase User-Agent .*blekkobo.* botstop
SetEnvIfNoCase User-Agent .*blexbot.* botstop
SetEnvIfNoCase User-Agent .*dotbot.* botstop
SetEnvIfNoCase User-Agent .*dsearch.* botstop
SetEnvIfNoCase User-Agent .*exabot.* botstop
SetEnvIfNoCase User-Agent .*ezooms.* botstop
SetEnvIfNoCase User-Agent .*gigabot.* botstop
SetEnvIfNoCase User-Agent .*ia_archiver.* botstop
SetEnvIfNoCase User-Agent .*linkdexbot.* botstop
SetEnvIfNoCase User-Agent .*lipperhey spider.* botstop
SetEnvIfNoCase User-Agent .*majestic-12.* botstop
SetEnvIfNoCase User-Agent .*majestic-seo.* botstop
SetEnvIfNoCase User-Agent .*meanpathbot.* botstop
SetEnvIfNoCase User-Agent .*megaindex.* botstop
SetEnvIfNoCase User-Agent .*mj12bot.* botstop
SetEnvIfNoCase User-Agent .*ncbot.* botstop
SetEnvIfNoCase User-Agent .*nutch.* botstop
SetEnvIfNoCase User-Agent .*pagesinventory.* botstop
SetEnvIfNoCase User-Agent .*rogerbot.* botstop
SetEnvIfNoCase User-Agent .*scoutjet.* botstop
SetEnvIfNoCase User-Agent .*searchmetricsbot.* botstop
SetEnvIfNoCase User-Agent .*semrushbot.* botstop
SetEnvIfNoCase User-Agent .*seokicks-robot.* botstop
SetEnvIfNoCase User-Agent .*sistrix.* botstop
SetEnvIfNoCase User-Agent .*sitebot.* botstop
SetEnvIfNoCase User-Agent .*spbot.* botstop
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=botstop
</Limit>
Примечание: серверы nginx становятся очень популярными в наши дни и .htaccess не работает с negix, поэтому используйте метод robots.txt.
.htaccess также потребует от вас редактирования локального файла конфигурации Apache, что повлияет на папку, в которой он находится, плюс все папки под ним в иерархии. Если возможно, я бы использовал оба метода, чтобы обеспечить 100% отсутствие доступа.
Закрыть в .htaccess с перенаправлением на другой сайт
Вы также можете использовать второй вариант, который находится через файл .htaccess на вашем сайте, и этот вариант, вероятно, лучше всего использовать вместе с вариантом 1, чтобы гарантировать, что боты не получат доступ к вашему сайту.
Пример:
RewriteEngine On RewriteBase /
RewriteCond %{HTTP_USER_AGENT} .*AhrefsBot.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*SemrushBot.*
RewriteRule ^(.*)$ http://www.anotherdomain.com/ [L,R=301]
Order Allow,Deny
Allow from all
Deny from 216.123.8.0/8
Deny from ....
Вышеупомянутый пример показывает ботов, эффективно заставляя их перейти на другой сайт, который, как вы можете определить, может быть полным днищем на котором нет ничего особенного, тем самым скрывая настоящие данные своего сайта или сети PBN.
Тот факт, что вы не видите обратных ссылок , не означает, что их нет, пока Google может видеть то, что ему нужно — рейтинг вашего сайта будет в порядке.
Плагины для скрытия обратных ссылок от конкурентов
Плагины помогают интегрировать некоторые дополнительные функции в WordPress. Так что вручную ничего делать не нужно. Просто добавив соответствующий плагин, вы можете получить нужную функцию. Если вы хотите, чтобы конкурент не мог видеть обратные ссылки вашего сайта, для этого можно использовать плагины.
Для WordPress доступны два плагина.
Первый плагин — это Spyder Spanker , который является премиум-плагином, а другой плагин — Link Privacy , в качестве бесплатного решения для скрытия обратных ссылок от конкурентов. Я не использовал ни один из этих плагинов, потому что не имею необходимости скрывать обратные ссылки от конкурентов.
Однако оба этих плагина полезны для тех, кто не хочет пачкать руки при редактировании файла .htaccess.
Эти плагины блокируют индексацию ваших обратных ссылок в базу данных поисковых роботов.
Еще вариант
- Первое, что вам нужно сделать, это создать новый поддомен на сайте.
- Точно так же, как вы редактируете файлы robots и .htaccess в PBN, вы делаете то же самое для этого поддомена./li>
- Затем вы 301 редиректом перенаправляете этот созданный поддомен на страницу, которую вы пытаетесь ранжировать.
Этим вы создаете ссылки на этот поддомен, а не напрямую на свою страницу — и поэтому никто не сможет найти ссылки.
Поддомен работает как «кран», любой ссылочный вес из ссылок, можно очень легко включить или выключить, удалив / переместив 301. Я не пытаюсь вкладывать здесь какие-либо идеи в чью-либо голову, но я оставлю вас с этим: если поддомен ловит фильтр, то корневой домен остается неизменным. Веселись!
Мужик, большое тебе спасибо!