Vlastné doplnenie súboru Robots.txt
Vďaka súboru robots.txt môžete robotom zakázať, aby prehľadávali niektoré stránky vášho webu. Roboti sa teda k zakázanému obsahu nedostanú a výsledkom bude, že tieto stránky nebudú indexované, nezobrazia sa vo výsledkoch vyhľadávania.
Súbor robots.txt vašej stránky nájdete na URL adrese: www.nazovdomeny.sk/robots.txt
V tomto súbore sa už nachádzajú sekcie: /admin/ a /erp/ - t.j. administračné rozhranie webu. Požadujeme, aby v robots.txt tieto položky zostali, preto môžete súbor len doplniť, nie vytvoriť nový.
Zakázať môžete napr. stránky s internými informáciami, ktoré slúžia pre vaše účely a účely vašich zamestnancov, alebo ľubovoľné stránky, ktoré nechcete aby sa zobrazovali vo vyhľadávačoch.
Ako si môžem doplniť Robots.txt?
1. Vytvorte si textový súbor (použite napríklad Poznámkový blok, druhou alternatívou je MS Office)
2. Vložte príkaz na zakázanie indexácie, napr. Disallow: /nazov-zakazaneho-adresara/. Základné pravidlá pre zadávanie príkazov nájdete tu.
3. Súbor uložte ako robots.txt (pokiaľ ste použili MS Office dajte "Uložiť ako" a vyberte formát: Obyčajný text) Súbor musí byť uložený vo formáte s koncovkou .txt a názov musí byť robots.
4. Tento súbor nahrajte do files v administrácii web stránky - sekcia SÚBORY. Nevkladajte ho do ďalších adresárov, ale priamo do files. URL adresa tohoto súboru potom bude mať podobu: www.nazovdomeny.sk/files/robots.txt
5. Keď zadáte URL adresu www.nazovdomeny.sk/robots.txt, vidíte, že súbor je doplnený o adresáre, ktoré ste pridali.
Príklady príkazov:
- za príkazom Disallow: musí byť lomítko Disallow: / - tento príkaz znamená, že robot nemôže nikam.
- príkaz Disallow: (bez lomítka) by znamenal, že robot môže vstúpiť všade,
- príkaz, ktorý končí lomítkom: Disallow: /nazov-zakazaneho-adresara/ znamená, že roboty nesmú vojsť do zadaného adresára ani k žiadnemu podadresáru a súboru patriacemu tomuto adresáru,
- príkaz Disallow: /in (bez lomítka na konci) by znamenal, že robotom sú zakázané všetky stránky začínajúce reťazcom "in"ako napríklad interne/, info.html, index.html.
Podstata príkazu Disallow: je, že zakazuje sledovať cesty, ktoré začínajú vypísaným reťazcom.
User-agent: *
Disallow: /temp/
Disallow: /admin/
Disallow: /komentáre/
Zákaz prechádzania konkrétnych zložiek. Všetci roboti (symbol hviezdičky) nesmú vojsť do adresárov /temp/, /admin/, /komentare/, ani k ich podadresárom.
User-agent: Googlebot
Disallow: /interne/
Robot Googlebot má zakázaný prístup do čohokoľvek v adresári /interne/.
Disallow: /
Allow: /sk/
Disallow: /sk/interne/
Robot môže do adresára /sk/ a do jeho podadresárov, ale nesmie indexovať podadresár /interne/
User-agent: Googlebot - Image
Disallow: /*.jpg$
Vyhľadávač obrázkov Googlebot-Image nesmie sťahovať všetky obrázky vo formáte .jpg. Znak - $ znamená koniec názvu.