El documento robots.txt es un elemento fundamental para toda página web que busca aparecer bien posicionada por los rastreadores como Bing. Sirve como un directorio para los crawlers , indicándoles qué secciones de tu sitio pueden deben indexadas y cuáles no . Una correcta configuración de este d