Prosto od Google:
Metatagi to świetny sposób dla webmasterów na dostarczanie wyszukiwarkom informacji o ich witrynach. Metatagi mogą służyć do dostarczania informacji różnym klientom, a każdy system przetwarza tylko te metatagi, które rozumie, a resztę ignoruje.
Jeśli chcesz całkowicie zablokować wszystkie wyszukiwarki:
Dlaczego?
Być może jest to nieco prywatny adres URL w Twojej witrynie, ale nie jest chroniony w taki sposób, że robot wyszukiwania nie może go zobaczyć. Na przykład jeśli strona wymaga zalogowania się, aby ją zobaczyć, i tak jest to blokowane dla robota wyszukiwania. Ale jeśli jest to tylko zaciemniony adres URL, kto wie, w jaki sposób poruszają się boty wyszukiwania, więc możesz chcieć zapobiec indeksowaniu.
Wyniki wyszukiwania to kolejny typowy wynik. Być może dziwne, że wynik wyszukiwania to wyniki wyszukiwania. Motywy WordPress zwykle zawierają to:
Mogę to trochę zmienić i powiedzieć botom, hej, możesz skorzystać z linków tutaj, aby kontynuować indeksowanie witryny, ale nie indeksuj konkretnie tej strony.
Inni
Wyszukiwarki zwykle używają tagu opisu dla treści tekstowej obok :
Zobacz stronę Google, aby znaleźć inne specyficzne dla Google funkcje, takie jak możliwość zatrzymania interfejsu użytkownika Google, takie jak „pole wyszukiwania linków do witryny”.