El archivo robots.txt es el elemento clave para la sitio web que busca aparecer bien indexada por los motores de búsqueda como Chrome . Sirve como el directorio para los crawlers , indicándoles qué secciones de tu plataforma pueden ser crawleadas y cuáles no . La adecuada configuración de este archivo ayuda a solucionar problemas de indexació