Robots.txt ja syötteet

3.2.06 klo 21:40

Olen saanut tämän sivuton olemassaolon aikana paljon kävijöitä hakukoneiden kautta - mitä erikoisimmin hakusanoin. Ongelmana vain on, että suurin osa hakutuloksista viittaa tämän blogin RSS- tai Atom-syötteisiin. Tämä ei tietenkään ole hyvä kävijän kannalta, sillä tietoa etsivää ei XML-rakennepuu paljon lohduta. Niinpä päätin hoitaa homman yksinkertaisella tavalla. Loin sivuston juureen robots.txt-tiedoston, johon kirjoittelin seuraavat rivit: 

User-agent: *
Disallow: /atom.php
Disallow: /rss.php

Tämän pitäisi estää hakurbotteja indeksoimasta syötteitä. Kaikki ovat taas onnellisia. Ainut haittapuoli järjestelyllä on se, että eniten hakukonenäkyvyyttä saaneet tiedostot poistuvat Googlen ja kumppaneiden listoista. Mutta toisaalta: mitä hyötyä on kävijöillä, joita ei voi palvella?

PS: Lisätietoa robots.txt-tiedoston käytöstä robottien suitsimiseen löytyy löytyi ennen Tomi Mynttisen artikkelista Robotit Ruotuun.

Kommentit

Ei kommentteja.

Kommentointi suljettu

Tämän merkinnän kommentointi on suljettu. Jos sinulla on tärkeää sanottavaa, laita palautetta.