El documento robots.txt es una recurso clave para cualquier sitio web que pretende aparecer bien posicionada por los buscadores como Google . Sirve como el directorio para los crawlers , indicándoles qué áreas de tu sitio pueden ser rastreadas y cuáles se deben excluir . Una correcta configuración de este Ayuda técnica fichero sirve a preveni