Googlebot part des pages qu'il connaît, suit tous les liens qu'il trouve et revient à un rythme fixé par la fréquence des changements du site et par ce que ses serveurs supportent. Une page atteignable seulement par un formulaire, un script qui s'exécute après un clic ou un lien caché aux robots est rarement découverte. Les liens internes et un sitemap sont la façon dont un site dit au robot où sont ses pages.
L'exploration exécute aussi le JavaScript, avec un délai et un coût : une page dont le texte n'apparaît qu'après l'exécution des scripts est lue plus tard et parfois incomplètement. Servir le texte dans le HTML lui-même est le choix sûr, pour les robots de recherche et plus encore pour les robots d'IA, dont plusieurs n'exécutent aucun script.