¿Qué es un archivo Robots.txt?
Los archivos robots.txt sirven principalmente para gestionar el tráfico de los rastreadores a tu sitio, aunque también suelen usarse para que Google no rastree determinados archivos, según el tipo de archivo.
Un archivo robots.txt en un sitio web funcionará como una petición que especifica que determinados robots no hagan caso a archivos o directorios específicos en su búsqueda. Esto puede realizarse, por ejemplo, para dejar fuera de una preferencia los resultados de una búsqueda avanzada, o de la creencia que el contenido de los directorios seleccionados puede ser engañoso o inaplicable a la clasificación del sitio en su totalidad.
¿Dónde puedo gestionar el archivo Robots.txt de mi web?
Por defecto tu web ya tiene un archivo robots.txt, por lo que puedes obviar esta sección. Esta sección está destinada a aquellos usuarios con conocimientos avanzados y los cuales quieren personalizar este archivo por un motivo en concreto.
Para ello deberás entrar en Ajustes > Robots.txt.
Una vez realizados los cambios recuerda pulsar en Guardar.
Si necesitas más información, desde el centro de búsqueda de Google te explican como funciona: