Die robots.txt ist eine einfache Textdatei, mit der Website-Betreiber Suchmaschinen mitteilen, welche Bereiche ihrer Website gecrawlt und welche ausgelassen werden sollen. Sie dient also als Regelwerk für Crawler wie Googlebot oder Bingbot.
Webseite
Bloggen mit dem Live Writer
Ich schreibe alle meine Artikel für diesen Blog mit dem Windows Live Writer. Es ist ein optimales Programm von Microsoft. Vom Aufbau her könnte man fast meinen, man befände sich in einem Word-Dokument.