Mi pagina web no parece tener activo el robots.txt

[Milstore]

Saludos, he recibido un mensaje de una persona diciendo de que mi robots.txt esta inactivo, para saber si es cierto, busque en mi web en editar codigo y no lo encuentro (no se donde esta). Como saber si tengo el robots.txt y si esta inactivo como activarlo. Busque en google y me sale este mensaje:  

No se han encontrado resultados para tu búsqueda site:thecrochetbasket.com/robots.txt. 

No se nada de codigos, de html ni como arreglar esto, me pueden ayudar?

Gracias.

[ColombiaDev]

Hola,

Tienes que editar el código, agregar una nueva plantilla y escoger robot.txt. Luego agregas aquí los datos que desees. 

Un saludo.

[Ann · Accepted solution]

Hola @Milstore,

Gracias por escribir en los foros de la comunidad. Entiendo que quieres saber cómo puedes activar tu archivo robots.txt, ¿cierto?

Antes que nada quisiera preguntarte, ¿por qué razón te dicen que tu archivo robots.txt se encuentra inactivo? ¿Planeas realizar cambios al archivo robots.txt? 

A modo de contexto, debes saber que hay varias funciones de SEO que se encuentran incorporadas a Shopify, las cuales ayudan a optimizar el contenido de tu página. Entre esas se encuentran las etiquetas canónicas generadas automáticamente, las cuales se agregan a las páginas para evitar que el contenido duplicado aparezca en los resultados de búsqueda, los archivos de tu página web sitemap.xml y robots.txt, los cuales se generan automáticamente y las etiquetas de título que incluyen el nombre de tu tienda, las cuales son generadas automáticamente por los temas.

Adicionalmente, existen varias formas de mejorar la optimización para los motores de búsqueda (SEO), las cuales permiten mejorar la clasificación de tu tienda en los motores de búsqueda y ayudan a las personas encontrar tus productos más fácilmente. Entre estos métodos se incluye editar el archivo robots.txt, agregar palabras clave para SEO a tu tienda, optimizar la estructura de tu página web para los motores de búsqueda y buscar y enviar el mapa de tu sitio, entre otros.

Dicho esto, todas las tiendas Shopify tienen un archivo robots.txt predeterminado, el cual es útil para la optimización de los motores de búsqueda. El archivo robots.txt indica a los bots de los motores de búsqueda, es decir a los rastreadores, qué páginas pueden solicitar ver en tu tienda online. Así mismo, los motores de búsqueda usan tu mapa del sitio para posicionar tu tienda online en los resultados de motores de búsqueda. 

Para encontrar el archivo debes seguir estos pasos:

1. Dirígete a Tienda online > Temas > Tema actual.
2. Haz clic en los tres puntos y luego en Editar código.
3. Haz clic en la carpeta Plantillas > Agregar nueva plantilla.
4. Selecciona robots.txt.liquid para acceder al archivo.

Aunque el archivo robots.txt funciona bien en la mayoría de los casos, si lo requieres, puedes editarlo para permitir o bloquear el rastreo de ciertas páginas, agregar reglas de aplazamiento de rastreo para determinados rastreadores, agregar URL adicional del mapa del sitio y bloquear ciertos rastreadores. Es importante que tengas en cuenta que en el equipo de soporte de Shopify no somos especialistas en editar este archivo, por lo que si necesitas realizar cambios, te recomendamos contratar a uno de los partners de Shopify. Ellos son un grupo de expertos que ayudan a nuestros comerciantes a diseñar y personalizar sus tiendas. 

Nota: ten en cuenta que si se edita incorrectamente el archivo robots.txt puede causar que pierdas todo el tráfico a tu tienda.

Con todo, ¿ya has enviado el mapa de tu sitio web? ¿Has trabajado para mejorar la optimización para los motores de búsqueda?

[Milstore]

Hola Ann, gracias por responderme, te explico, recibo correos de personas que dicen visitar mi tienda, ofrecen soluciones a errores que supuestmente encuentran y ofertas de mejorar mi tienda, etc y entro en duda saber si es cierto, si realmente son conocedores o un fraude, como confiar? Asi me dicen del archivo robots.  Pero mejor no lo edito porque como mencione no se de html, codigos, etc y no quiero dañar mi tienda luego que me ha costado mucho hacerla. Me interesa saber como optimizar mi tienda (seo) y conseguir mas clientes. Envie el mapa de mi sitio una vez pero no se si tengo que enviarlo cada vez que hago algun cambio (google me indica que hay pagina que no puede indexar y no se si es esto). Cotejo en Page Speed Insight y me salen cosas que no tengo idea como corregir, donde puedo conseguir como aprender de todo esto para ir creciendo en conocimiento? Agradecida. 

[Ann]

Hola @Milstore, 

Gracias por tu respuesta y por proporcionarnos un poco más de detalles. Si lo deseas, puedes compartirnos la URL de tu tienda para que podamos revisarla y darte nuestros comentarios. En cuanto al archivo robots.txt, como te comenté antes, no es recomendable editarlo, al menos de que sea hecho por una persona experta en eso. 

En cuanto al SEO, es importante destacar que hay distintos factores que influyen para que tu tienda aparezca mejor posicionada en los resultados de búsqueda. Entre esos se encuentra la cantidad de enlaces no pagados o de redes sociales que llevan a tu tienda desde otros sitios web, las interacciones de tu página web, la antigüedad de tu dominio y la estructura y contenido de tu página que están optimizados para los motores de búsqueda (SEO). 

Dicho esto, si tu negocio apenas estás comenzando y eres nueva en las ventas en línea, es difícil cumplir con los factores mencionados anteriormente. Crear una reputación y reconocimiento de marca toma cierto tiempo, por lo que los resultados de búsqueda también tomarán cierto tiempo en verse reflejados. Lo que puedes hacer en el corto plazo es optimizar tu contenido para que los motores de búsqueda lo reconozcan como relevante para las búsquedas relacionadas con tus productos y así obtener más tráfico para tu tienda online. Con todo, ¿tuviste la oportunidad de revisar el documento que te compartí? Ahí se incluyen distintos métodos que son útiles para mejorar la optimización para los motores de búsqueda. 

Adicionalmente, es importante que tengas en cuenta que Google se toma un tiempo en indexar las páginas, es decir que no lo hace de manera inmediata. Por lo general, es recomendable esperar al menos una semana después de enviar el mapa del sitio o una solicitud de indexación para confirmar que la página aparece en los resultados de búsqueda. Si después de este tiempo aún no puedes encontrar tu página, puedes seguir los pasos que se detallan en este documento de Google para confirmar si tu página aparece en los resultados de búsqueda. 

Por último, no es necesario que envíes el mapa de tu sitio cada vez que haces un cambio en tu tienda. Solamente debes volver a enviar el mapa de tu sitio web si has realizado cambios importantes como eliminar o añadir páginas, cambios grandes en el contenido o cambios en las URL de las páginas, entre otros. El uso de un mapa del sitio no garantiza que todos los elementos del mapa del sitio se rastreen e indexen, ya que los procesos de Google se basan en algoritmos complejos para programar el rastreo. En este documento de Google puedes encontrar más información sobre cómo gestionar los sitemaps. También te comparto este artículo de Google donde explican por qué no se indexan algunas las páginas.

Por otro lado, ¿qué tipo de errores recibes en Page Speed Insight? ¿Has tenido la oportunidad de revisar los reportes de tráfico de tu tienda? De ser así, ¿qué nivel de visitas has tenido en los últimos 30 días?