robots.txt
Die robots.txt ist eine Textdatei auf einer Website, die dazu dient, Suchmaschinenrobotern (auch „Bots“ oder „Crawler“ genannt) Anweisungen zu geben, welche Teile der Website indexiert und durchsucht werden dürfen und welche nicht. Die robots.txt wird in der Regel im Stammverzeichnis der Website platziert und ist für die öffentliche Anzeige zugänglich. Sie spielt eine wichtige Rolle …