Der Zusammenschluß von Google, Yahoo und Microsoft erweitern den Sitemaps Standard. Durch einen einfachen Eintrag:
Sitemap: http://www.mysite.com/sitemap.xml
in die robots.txt sind die Suchmaschinen schneller in der Lage die Sitemap auf der Seite zu finden. Natürlich gilt es nur für Suchmaschinen die den Standard verfolgen und das sind bei weitem nicht alle Suchmaschinen.
Quellen und weitere Informationen: