databot — yleinen julkisen tiedon keräysbotti
Tämä on automaattinen ohjelma (botti), joka kerää julkisesti verkkosivuilla
saatavilla olevaa tietoa tutkimus-, analyysi- ja vertailutarkoituksiin.
Botti tunnistautuu jokaisessa pyynnössä User-Agent-otsakkeella databot.
robots.txt-tiedostoaVoit estää haun kahdella tavalla:
robots.txt-tiedostoosi esto User-Agentille databot, taiTämä sivu koskee vain automaattista julkisen tiedon keruuta.