Met deze app kun je de het robots.txt bestand aanpassen zodat je zelf kunt bepalen welke pagina’s van jouw webshop wel of niet bezocht mogen worden.
Maar let op: één fout en jouw webshop kan verkeerd worden geïndexeerd, waardoor je positie in de zoekresultaten kan verslechteren.
Het robots.txt bestand communiceert de omgangsregels van jouw website voor zoekmachines. Voordat een zoekmachine normale pagina’s op jouw website bezoekt, probeert het eerst het robots.txt bestand op te halen om te kijken of er speciale instructies zijn voor het crawlen van jouw website.
Het robots.txt bestand is erg belangrijk vanuit zoekmachine optimalisatie (SEO) oogpunt. Het vertelt zoekmachines namelijk hoe ze jouw website het beste kunnen crawlen. Met het robots.txt bestand kun je zoekmachines toegang tot bepaalde delen van jouw website verbieden, duplicate content problemen voorkomen, en bij zoekmachines aangeven hoe ze jouw website efficiënter kunnen crawlen.