¿Cómo agregar un archivo robots.txt personalizado en Blogger?

En un artículo anterior mío, hablé de la creación de etiquetas de encabezado de robot personalizadas para blogs.

Si ha leído este artículo, espero que sepa su importancia en los rankings de búsqueda.

Hoy, he vuelto con un término de blog muy útil, debes tener en cuenta que es Robots.txt.

En Blogger se lo conoce como Custom Robots.txt, lo que significa que ahora puede personalizar este archivo a su gusto.

En el tutorial de hoy, analizaremos este término en detalle y aprenderemos sobre sus usos y beneficios. También te diré cómo agregar un archivo robots.txt personalizado en Blogger.

¿Qué es Robots.txt?

Robots.txt es un archivo de texto que contiene solo unas pocas líneas de código simple.

Se almacena en un sitio web o en un servidor de blogs, y el sitio web indica a los rastreadores web cómo indexar y rastrear el blog en los resultados de búsqueda.

Esto significa que puede restringir cualquier página web en su blog de los rastreadores web para que no se pueda indexar en motores de búsqueda como la página de etiquetas de su blog, la página de demostración o cualquier otra página cuya indexación no sea tan importante.

Recuerde siempre que los rastreadores de búsqueda escanean el archivo robot.txt antes de rastrear una página web.

Cada blog alojado por Blogger tiene su archivo robots.txt predeterminado, que se parece a esto:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Explicación

Este código se divide en tres secciones. Primero examinaremos cada uno de ellos y luego aprenderemos cómo agregar un archivo robots.txt personalizado en blogs de Blogspot.

User-agent: Mediapartners-Google

Este código es para el robot Google Adsense, que puede ayudarlo a poner mejores anuncios en su blog. ¿Está utilizando Google Adsense en su blog o no lo guarde?

User-agent: *

Esto se aplica a todos los robots que están marcados con un asterisco (*). En la configuración predeterminada, los enlaces de etiquetas de nuestro blog solo pueden ser indexados por rastreadores de búsqueda. Esto significa que los rastreadores web no indexarán los enlaces de nuestra página de etiquetas debido al siguiente código.

Disallow: /search

Esto significa que se ignorarán los enlaces cuya búsqueda por palabra clave se realice directamente en el nombre de dominio. Vea el siguiente ejemplo que tiene un enlace desde la página de etiquetas llamada SEO.

búsqueda http://www.miwebperfecta.com//label/SEO

Y si eliminamos Disallow: / search del código anterior, los rastreadores accederán a todo nuestro blog para indexar y rastrear todo su contenido y páginas web.

Aquí Allow: / significa la página de inicio, lo que significa que el rastreador web puede rastrear e indexar la página de inicio de nuestro blog.

Disallow Particular Post

Ahora suponga que si desea excluir publicaciones específicas del índice, puede agregar las siguientes líneas al código.

No permitir: /yyyy/mm/post-url.html

Aquí, AAAA y MM se refieren al año y mes del artículo. Por ejemplo, si lanzamos una versión de 2013 en marzo, debemos usar el siguiente formato.

No permitir: /2013/03/post-url.html

Para hacerlo más fácil, puede copiar la URL de la publicación y eliminar el nombre del blog desde el principio.

Disallow Particular Page

Si no necesitamos permitir una página en particular, podemos usar el mismo método que el anterior. Simplemente copie y pegue la URL de la página y elimine la dirección del blog que se parece a esto:

No permitir: /p/page-url.html

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Este código se refiere al mapa del sitio de nuestro blog. Al agregar el enlace del mapa del sitio aquí, simplemente estamos optimizando la frecuencia de rastreo de nuestro blog.

Esto significa que cada vez que los rastreadores web escanean nuestro archivo robots.txt, encontrarán una ruta a nuestro mapa del sitio que tiene todos los enlaces de nuestras publicaciones publicadas.

Es fácil para los rastreadores web realizar un seguimiento de todos nuestros mensajes.

Por lo tanto, existe una mayor posibilidad de que los rastreadores web rastreen todas las publicaciones de nuestro blog sin ignorar una sola.

Nota: Este mapa del sitio solo informa a los rastreadores web sobre las últimas 25 publicaciones. Si desea aumentar la cantidad de enlaces en su mapa del sitio, reemplace el mapa del sitio predeterminado con lo siguiente. Funcionará para las 500 publicaciones más recientes.

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Si tiene más de 500 publicaciones en su blog, puede usar dos mapas de sitio como los siguientes:

Mapa del sitio: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

Agregar Robots.Txt personalizado a Blogger

Ahora, la parte principal de este tutorial es cómo agregar un archivo robots.txt personalizado en Blogger. Entonces, aquí están los pasos para agregarlo.

• Ve a tu blog de blogger.
• Navegue a Configuración >> Índices y rastreadores  - Habilitar el contenido robots.txt personalizados.
• Ahora pega tu código de archivo robots.txt en la caja.
• Haga clic en el botón Guardar cambios.
• ¡Ya terminaste!

Habilitar el contenido robots.txt personalizados

¿Cómo comprobar su archivo Robots.txt?

Puede consultar este archivo en su blog agregando /robots.txt al final de la URL de su blog en su navegador web. Por ejemplo:

• http://www.yourblogurl.blogspot.com/robots.txt
• Una vez que visite la URL del archivo robots.txt, verá el código completo que utilizará en su archivo robots.txt personalizado.

Vea la imagen de abajo.

Este fue el tutorial completo de hoy sobre cómo agregar un archivo robots.txt personalizado en Blogger.

He hecho todo lo posible para que este tutorial sea lo más fácil e informativo posible. Si aún tiene alguna duda o pregunta, no dude en preguntarme en la sección de comentarios a continuación.

Asegúrese de no poner ningún código en su configuración personalizada de robots.txt sin saberlo. Solo pregúntame para resolver tus dudas. Te lo contaré todo en detalle.

Gracias por leer este tutorial. Si te gustó, ayúdame a difundir mis palabras compartiendo esta publicación en tus perfiles de redes sociales. Diviértete blogueando!