¿Cómo configurar el archivo Robots.txt para Magento?

¿Cómo configurar el archivo Robots.txt para Magento?

 

Los robots son máquinas que pertenecen a los buscadores y se encargan de escanear tu web e indexar todas sus páginas y los contenidos. El archivo robots nos será de gran utilidad para controlar el acceso o la restricción de los robots en nuestras páginas y directorios. Nosotros decidimos qué contenido queremos que indexen y cuál no nos interesa indexar. Además, el archivo robots nos ayudará a eliminar los problemas de contenido duplicado.

Si necesitas ayuda para configurar el archivo robots.txt lo primero que debes conocer son sus dos elementos principales User-agent y Disallow. (más…)