Wat is een robots.txt bestand?

De robots.txt is een text bestand welke in de root van jouw website wordt geplaatst. Met de robots.txt file kun je aangeven welke onderdelen van jouw website door een webspider of zoekrobot bezocht en geindexeerd mogen worden en welke onderdelen juist niet.

Voorbeeld 1:

User-agent: spambot
Disallow: /

Bovenstaande robots.txt bestand zorgt ervoor dat webspiders en zoekrobots welke zich identificeren als spambot geen toegang krijgen tot / en alle onderliggende mappen.

Voorbeeld 2:

User-agent: *
Disallow: /cgi-bin/
Disallow: /test/
Disallow: /prive/

Met dit voorbeeld krijgt elke webspider en zoekrobot toegang tot de gehele site behalve de mappen /cgi-bin/ /test/ en /prive/

Joomla robots.txt

De standaard robots.txt van Joomla ziet er als volgt uit:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Elk artikel van Joomla bevat ook een sectie "Metadata Informatie" waar je de volgende waarden kunt opgeven:

• index | noindex (indexeren | niet indexeren)
• follow | nofollow (webpagina's volgen | webpagina's niet volgen)
• noodp ( No open directory project )
• noarchive (niet archiveren)

• De eerste optie index | noindex bepaalt of de pagina juist wel of niet geindexeerd dient te worden door de zoekrobot.
• De optie follow | nofollow bepaalt of de links door de zoekrobot gevolgd moeten worden of juist niet.
• De optie noodp geeft aan dat de zoekrobot geen standaard pagina omschrijving mag maken gelinieerd aan de open directory project.
• noarchive zorgt ervoor dat de inhoud van de website niet gearchiveerd of verspreid wordt.