Checkt robots.txt, haalt sitemap(s) eruit, en test een sample van URLs.