CÓMO DECIRLE A GOOGLE QUE EXISTES?

Google, y también el resto de motores de búsqueda, ofrecen sus resultados a los usuarios basándose en sus labores de rastreo e indexación.

Los robots rastrean la red en búsqueda de las páginas web que existen. Una vez localizadas, analizan su contenido y lo clasifican según su relevancia. Cuando un motor de búsqueda llega a tu página web añade tus contenidos a su índice de resultados.

En función de diferentes factores, Google asigna una posición en el listado de resultados que muestra a los usuarios. Dos de estos factores son los archivos sitemap y robots.txt.

Para tener un mayor control sobre lo que indexa Google de tu sitio es ideal utilizar Search Console

¿CÓMO SE CREA UN SITEMAP?

No es un archivo obligatorio pero si es muy recomendable para lograr un buen posicionamiento orgánico de tu página.

No es necesario aprender un lenguaje de programación para crear un archivo sitemap.xml, existen múltiples herramientas que ayudan a rastrear todas las ligas de tu sitio y crear un archivo sitemap de manera automática, si utilizan Wordpress un plugin como Yoast puede facilitar el trabajo, pero también existe una herramienta en línea que genera el sitemap xml-sitemaps.com

El paso final es comunicar a Google que ya tienes tu sitemap.xml. Para ello, tienes que entrar en Google Search Console, acceder al apartado Sitemaps y añadirlo.

Ejemplo de un robots.txt

User-agent: *
Disallow: /wp-admin/
Disallow: /administrator/
allow: /templates
allow: /images
Sitemap: /sitemap.xml

El archivo robots.txt es un fichero de texto que ayuda a mejorar el rastreo de tu página web. Principalmente, se usa para indicar a los motores de búsqueda qué páginas no deseas que se visiten en busca de novedades.

Generador automático de Robots.txt robotstxt.pro

Una vez creado el archivo robots.txt, tendrás que subirlo a la raíz de tu dominio. Con Google Search Console podrás comprobar que se ha generado bien y que no contiene ningún error.

Estos archivos te servirán, entre otras cosas, para detectar errores de rastreo, para saber si las páginas de tu sitio están siendo indexadas y para conocer qué páginas son más lentas. En definitiva, podrás tener mayor control de tu sitio y estarás ayudando a mejorar su posicionamiento.