# robots.txt fuer http://www.beispiel.de/ #User-agent: BeispielRobot #Disallow: /temp/ # Die Dateien sind sehr kurzlebig #Disallow: /logfiles/ # Die ändern sich jeden Tag #Disallow: /bilder/ # Bilder nicht downloaden #Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren #Disallow: /news.html # Die news.html ändert sich täglich User-agent: * Disallow: /xampp/ Disallow: /temp/ Disallow: /### Backup + Alte Pages ###/ Disallow: /### Index ###/