Vyhledávače jsou vybaveny roboty, známými také jako pavouci nebo roboti, které procházejí a indexují webové stránky. Pokud se váš web nebo stránka vyvíjí nebo obsahuje citlivý obsah, možná budete chtít blokovat roboty procházení a indexování vašeho webu. Naučte se blokovat celé webové stránky, stránky a odkazy pomocí souborů robots.txt a blokovat konkrétní stránky a odkazy pomocí značek html. Pokračujte v čtení, abyste zjistili, jak blokovat konkrétním robotům přístup k vašemu obsahu.
Kroky
Metoda 1 ze 2: Blokování vyhledávačů pomocí souborů robots.txt
Krok 1. Pochopte soubory robots.txt
Soubor robots.txt je prostý textový soubor nebo ASCII, který informuje pavouky vyhledávačů o tom, k čemu mají na vašem webu přístup. Soubory a složky uvedené v souboru robots.txt nemusí být procházeny a indexovány pavouky vyhledávače. Soubor robots.txt můžete potřebovat, pokud:
- Chcete zablokovat konkrétní obsah z pavouků vyhledávačů.
- Vyvíjíte živé stránky a nejste připraveni na to, aby je prohledávali a indexovali pavouci vyhledávačů
- Chcete omezit přístup k renomovaným robotům.
Krok 2. Vytvořte a uložte soubor robots.txt
Chcete -li soubor vytvořit, spusťte editor prostého textu nebo editor kódu. Uložte soubor jako: robots.txt. Název souboru musí být malý.
- Nezapomeňte na „s“.
- Při ukládání souboru zvolte příponu „'.txt”'. Pokud používáte Word, vyberte možnost „Prostý text“.
Krok 3. Napište úplný soubor robots.txt
Pomocí nástroje „full-disallow“robots.txt je možné zablokovat procházení a indexování každého renomovaného pavouka vyhledávače. Do textového souboru napište následující řádky:
Uživatelský agent: * Zakázat: /
Krok 4. Napište soubor robots.txt s podmíněným povolením
Místo blokování všech robotů zvažte blokování konkrétních pavouků z určitých oblastí vašeho webu. Mezi běžné příkazy podmíněného povolení patří:
- Blokovat konkrétního robota: nahraďte hvězdičky vedle Uživatelský agent s googlebot, googlebot-novinky, googlebot-image, bingbot, nebo teoma.
-
Blokovat adresář a jeho obsah:
User-agent: * Disallow: /sample-directory /
-
Blokovat webovou stránku:
Uživatelský agent: * Zakázat: /private_file.html
-
Blokovat obrázek:
Uživatelský agent: googlebot-image Disallow: /images_mypicture.jpg
-
Blokovat všechny obrázky:
Uživatelský agent: googlebot-image Disallow: /
-
Blokovat konkrétní formát souboru:
Uživatelský agent: * Zakázat: /p*.gif$
Krok 5. Povzbuďte roboty k indexování a procházení vašeho webu
Mnoho lidí chce místo blokování uvítat pavouky vyhledávačů, protože chtějí indexovat celý svůj web. Abyste toho dosáhli, máte tři možnosti. Nejprve se můžete odhlásit z vytváření souboru robots.txt-když robot soubor robots.txt nenajde, bude pokračovat v procházení a indexování celého vašeho webu. Za druhé, můžete vytvořit prázdný soubor robots.txt-robot najde soubor robots.txt, rozpozná, že je prázdný, a bude pokračovat v procházení a indexování vašeho webu. Nakonec můžete napsat soubor robots.txt s plným povolením. Použijte kód:
Uživatelský agent: * Zakázat:
Krok 6. Uložte soubor txt do kořenového adresáře vaší domény
Jakmile napíšete soubor robots.txt, uložte změny. Nahrajte soubor do kořenového adresáře vašeho webu. Pokud je například vaše doména www.vasadomena.com, umístěte soubor robots.txt na www.vasadomena.com/robots.txt.
Metoda 2 ze 2: Blokování vyhledávačů pomocí metaznaček
Krok 1. Pochopte metaznačky robotů HTML
Meta tag robots umožňuje programátorům nastavit parametry pro roboty nebo pavouky vyhledávačů. Tyto značky se používají k blokování robotů v indexování a procházení celého webu nebo jen jeho částí. Tyto značky můžete také použít k zablokování konkrétního pavouka vyhledávače v indexování vašeho obsahu. Tyto značky se zobrazují v záhlaví souboru HTML.
Tuto metodu běžně používají programátoři, kteří nemají přístup do kořenového adresáře webové stránky
Krok 2. Blokování robotů z jedné stránky
Je možné zablokovat všechny roboty z indexování stránky nebo z následování odkazů na stránky. Tato značka se běžně používá, když je vyvíjen živý web. Jakmile je web dokončen, důrazně doporučujeme tuto značku odebrat. Pokud značku neodstraníte, vaše stránka nebude indexována ani ji nebude možné vyhledávat prostřednictvím vyhledávačů.
- Můžete blokovat roboty v indexování stránky a v následování některého z odkazů:
- Můžete zablokovat všechny roboty v indexování stránky:
- Můžete blokovat všechny roboty z odkazů na stránku:
Krok 3. Umožněte robotům indexovat stránku, ale ne podle jejích odkazů
Pokud robotům povolíte indexovat stránku, stránka bude indexována; pokud zabráníte pavoukům ve sledování odkazů, cesta odkazu z této konkrétní stránky na jiné stránky se přeruší. Do záhlaví vložte následující řádek kódu:
Krok 4. Nechte vyhledávače sledovat odkazy, ale ne indexovat stránku
Pokud robotům povolíte sledovat odkazy, cesta odkazu z této konkrétní stránky na jiné stránky zůstane taktní; pokud je omezíte v indexování stránky, vaše webová stránka se v indexu nezobrazí. Do záhlaví vložte následující řádek kódu:
Krok 5. Blokovat jeden odchozí odkaz
Chcete -li skrýt jeden odkaz na stránce, vložte rel tag v tagu odkazu. Tuto značku můžete použít k blokování odkazů na jiných stránkách, které vedou na konkrétní stránku, kterou chcete zablokovat.
Vložte odkaz na blokovanou stránku
Krok 6. Blokujte konkrétního pavouka vyhledávače
Namísto blokování všech robotů z vaší webové stránky možná budete chtít zabránit tomu, aby jeden robot procházel a indexoval stránku. Chcete -li toho dosáhnout, nahraďte „„ robot “v metaznačce názvem konkrétního robota. Mezi příklady patří: googlebot, googlebot-novinky, googlebot-image, bingbot, a teoma.
Krok 7. Povzbuďte roboty, aby procházeli a indexovali vaši stránku
Pokud chcete zajistit, aby vaše stránka byla indexována a aby byly dodržovány její odkazy, můžete vložit následný souhlas meta „robot“ označte do záhlaví. Použijte následující kód:
