Using WordPress robots.txt file to improve SEO

Cómo optimizar su Robots.txt para SEO en WordPress (Guía para principiantes)

Recientemente, uno de nuestros lectores nos pidió consejo sobre cómo optimizar el archivo robots.txt para mejorar el SEO. El archivo Robots.txt le dice a los motores de búsqueda cómo rastrear su sitio web, lo que lo convierte en una herramienta de SEO increíblemente poderosa. En este artículo, le mostraremos cómo crear un archivo robots.txt perfecto para SEO.

Uso del archivo robots.txt de WordPress para mejorar el SEO

¿Qué es el archivo robots.txt?

Contents

Robots.txt es un archivo de texto que los propietarios de sitios web pueden crear para decirles a los robots de los motores de búsqueda cómo rastrear e indexar páginas en su sitio. Por lo general, se almacena en el directorio raíz, también conocido como carpeta principal, de su sitio web. El formato básico de un archivo robots.txt tiene este aspecto: User-agent: [user-agent name] Rechazar: [URL string not to be crawled]

Agente de usuario: [user-agent name] Permitir: [URL string to be crawled]

Plano del sitio: [URL of your XML Sitemap]

Puede tener varias líneas de instrucciones para permitir o no permitir URL específicas y agregar varios mapas del sitio. Si no prohíbe una URL, las arañas de los motores de búsqueda suponen que pueden rastrearla. Así es como se vería un archivo de ejemplo robots.txt: User-Agent: * Allow: / wp-content / uploads / Disallow: / wp-content / plugins / Disallow: / wp-admin / Sitemap: https: // .com / sitemap_index.xml ejemplo En el ejemplo de robots.txt anterior, permitimos que los motores de búsqueda rastrearan e indexaran los archivos en nuestra carpeta de carga de WordPress. Después de eso, prohibimos que los robots de búsqueda rastrearan e indexaran los complementos y carpetas de administración de WordPress. Por último, hemos proporcionado la URL de nuestro mapa del sitio XML.

¿Necesita un archivo Robots.txt para su sitio de WordPress?

Si no tiene un archivo robots.txt, los motores de búsqueda continuarán rastreando e indexando su sitio web. Sin embargo, no podrá decirle a los motores de búsqueda qué páginas o carpetas no deben rastrear. No tendrá mucho impacto cuando inicie un blog por primera vez y no tenga mucho contenido. Sin embargo, a medida que su sitio web crece y tiene una gran cantidad de contenido, probablemente desee tener más control sobre cómo se rastrea e indexa su sitio web. Este es el por qué. Los robots de búsqueda tienen una cuota de rastreo para cada sitio web. Esto significa que rastrean una determinada cantidad de páginas durante una sesión de rastreo. Si no terminan de rastrear todas las páginas de su sitio, volverán y reanudarán el rastreo en la próxima sesión. Esto puede ralentizar la tasa de indexación de su sitio web. Puede solucionar este problema evitando que los robots de búsqueda intenten rastrear páginas innecesarias, como las páginas de administración de WordPress, los archivos de complementos y la carpeta de temas. Al prohibir las páginas innecesarias, ahorra su cuota de rastreo. Esto ayuda a los motores de búsqueda a rastrear aún más páginas de su sitio e indexarlas lo más rápido posible. Otra buena razón para utilizar el archivo robots.txt es cuando desea evitar que los motores de búsqueda indexen un artículo o una página en su sitio web. No es la forma más segura de ocultar contenido al público en general, pero ayudará a evitar que aparezca en los resultados de búsqueda.

¿Qué aspecto tiene un archivo Ideal Robots.txt?

Muchos blogs populares utilizan un archivo robots.txt muy simple. Su contenido puede variar según las necesidades del sitio específico: User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/ page – sitemap.xml Este archivo robots.txt permite a todos los rastreadores indexar todo el contenido y les proporciona un enlace a los mapas del sitio XML del sitio web. Para los sitios de WordPress, recomendamos las siguientes reglas en el archivo robots.txt: User-Agent: * Allow: / wp-content / uploads / Disallow: / wp-content / plugins / Disallow: / wp-admin / Disallow: / readme .html Disallow: / refer / Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml Esto le dice a los robots de búsqueda que indexen todas las imágenes de WordPress y archivos. Prohíbe que los robots de búsqueda indexen los archivos de complementos de WordPress, el área de administración de WordPress, el archivo Léame de WordPress y los enlaces de afiliados. Al agregar mapas del sitio al archivo robots.txt, ayuda a los robots de Google a encontrar todas las páginas de su sitio. Ahora que sabe cómo es un archivo robots.txt ideal, echemos un vistazo a cómo puede crear un archivo robots.txt en WordPress.

¿Cómo crear un archivo Robots.txt en WordPress?

Hay dos formas de crear un archivo robots.txt en WordPress. Puede elegir el método que más le convenga.
Método 1: Edite el archivo Robots.txt usando todo en uno SEO
All in One SEO, también conocido como AIOSEO, es el mejor complemento de WordPress SEO del mercado utilizado por más de 2 millones de sitios web. Es fácil de usar y viene con un generador de archivos robots.txt. Si aún no ha instalado el complemento AIOSEO, puede ver nuestra guía paso a paso sobre cómo instalar un complemento de WordPress.
Notar: La versión gratuita de AIOSEO también está disponible y tiene esta función. Una vez que el complemento está instalado y activado, puede usarlo para crear y editar su archivo robots.txt directamente desde su área de administración de WordPress. Solo ve a Todo en uno SEO »Herramientas para editar su archivo robots.txt.
Editor de robots.txt de AIOSEO
En primer lugar, deberá activar la opción de edición haciendo clic en el botón «Activar robots.txt personalizado» en azul. Con esta opción habilitada, puede crear un archivo robots.txt personalizado en WordPress.
AIOSEO activa el archivo robots.txt personalizado
All in One SEO mostrará su archivo robots.txt existente en la sección ‘Vista previa de Robots.txt’ en la parte inferior de la pantalla. Esta versión mostrará las reglas predeterminadas que fueron agregadas por WordPress.
Reglas predeterminadas de Robots.txt
Estas reglas predeterminadas les dicen a los motores de búsqueda que no rastreen sus archivos principales de WordPress, permiten a los bots indexar todo el contenido y les proporcionan un enlace a los mapas de sitio XML de su sitio. Ahora puede agregar sus propias reglas personalizadas para mejorar su robots.txt para SEO. Para agregar una regla, ingrese un agente de usuario en el campo «Agente de usuario». El uso de un * aplicará la regla a todos los agentes de usuario. A continuación, elija si desea «Permitir» o «Prohibir» el rastreo de motores de búsqueda. Luego ingrese el nombre del archivo o la ruta del directorio en el campo «Ruta del directorio».
Agregar una regla al archivo robots.txt
La regla se aplicará automáticamente a su archivo robots.txt. Para agregar otra regla, haga clic en el botón «Agregar regla». Le recomendamos que agregue reglas hasta que cree el formato de robots.txt ideal que compartimos anteriormente. Sus reglas personalizadas se verán así.
Archivo de reglas personalizadas Robots.txt
Una vez que haya terminado, no olvide hacer clic en el botón «Guardar cambios» para guardar sus cambios.
Método 2. Edite el archivo Robots.txt manualmente mediante FTP
Para este método, deberá utilizar un cliente FTP para editar el archivo robots.txt. Simplemente inicie sesión en su cuenta de alojamiento de WordPress utilizando un cliente FTP. Una vez dentro, podrá ver el archivo robots.txt en la carpeta raíz de su sitio web.
Conexión FTP Robots.txt
Si no ve uno, probablemente no tenga un archivo robots.txt. En ese caso, puede crear uno.
La conexión FTP crea el archivo robots.txt
Robots.txt es un archivo de texto sin formato, lo que significa que puede descargarlo a su computadora y editarlo usando cualquier editor de texto sin formato como Notepad o TextEdit. Después de guardar los cambios, puede volver a cargarlos en la carpeta raíz de su sitio web.

¿Cómo probar su archivo Robots.txt?

Una vez que haya creado su archivo robots.txt, siempre es una buena idea probarlo con una herramienta de prueba de robots.txt. Hay muchas herramientas de prueba de robots.txt disponibles, pero le recomendamos que utilice la de Google Search Console. En primer lugar, debe vincular su sitio web con Google Search Console. Si aún no lo ha hecho, consulte nuestra guía sobre cómo agregar su sitio de WordPress a Google Search Console. Luego, puede usar la herramienta de prueba de bots de Google Search Console.
Seleccione la propiedad del sitio web del probador de robots.txt
Simplemente seleccione su propiedad de la lista desplegable. La herramienta recuperará automáticamente el archivo robots.txt de su sitio web y resaltará cualquier error y advertencia si ha encontrado alguno.
Resultados del probador de Robots.txt

Pensamientos finales

El objetivo de optimizar su archivo robots.txt es evitar que los motores de búsqueda rastreen páginas que no están disponibles públicamente. Por ejemplo, páginas en su carpeta wp-plugins o páginas en su carpeta de administración de WordPress. Un mito común entre los expertos en SEO es que bloquear la categoría, las etiquetas y las páginas de archivo de WordPress mejorará la tasa de rastreo y conducirá a una indexación más rápida y clasificaciones más altas. Esto no es cierto. También va en contra de las directrices de los webmasters de Google. Le recomendamos que siga el formato robots.txt anterior para crear un archivo robots.txt para su sitio web. Esperamos que este artículo le haya ayudado a aprender a optimizar su archivo robots.txt de WordPress para SEO. También puede consultar nuestra guía definitiva de WordPress SEO y las mejores herramientas de WordPress SEO para hacer crecer su sitio web. Si le gustó este artículo, suscríbase a nuestro canal de YouTube para ver tutoriales en video de WordPress. También puede encontrarnos en Twitter y Facebook.

Leave a Reply