# robots.txt fuer http://www.bi-b213.de/ User-agent: * # Wildchar * schließt alle Crawler aus. # Mit den einzelnen Disallow-Einträgen bestimmt man Dateien und Verzeichnisse, die nicht indexiert werden sollen. # 'Disallow: /' verbietet die komplette Site # 'Disallow: ' erlaubt die ganze Site Disallow: /img/ Disallow: /intern/ Disallow: /css/ Disallow: /js/