Stap 6: Robots.txt-bestand
Ik graag ook een favicon, want zonder hen de robots leiden dossier gevonden niet fouten op uw server tot zal. Zorg ervoor dat uw robots.txt correct configureren. Maak een aangepaste 404-pagina. Als uw site meer dan alleen een paar pagina's heeft maak ook een sitemap.xml bestand. Het is niet een slecht idee om gewoon een sitemap maken toch wat, u kunt definiëren de structuur van uw site voor de crawlers. Gewoon zoeken op google als je niet weet hoe om te doen dat, het is erg basic en precieze instructies vindt u binnen een minuut wanneer u een zoekopdracht doet.
