Cómo evitar que los plugins o bots de IA rastreen el contenido de tu web

Hoy en día basta con hacer una pregunta a una IA y ésta te responderá con todo lo que necesitas. El problema? No hay ninguna referencia a las fuentes de información. 

Esto provoca que no te den una relevancia y que te quiten autoridad, ya que estas plataformas alimentan su sitio y aumentan su autoridad sobre los demás sitios con información proveniente de otros escritores.

Por otro lado, el problema con esto, es que las personas están recurriendo únicamente a ChatGPT como antes recurrían solo a la primera página en los resultados de Google. Esto provoca que solo vean una sola perspectiva que en este caso, elige una Inteligencia Artificial sin hacer referencia sobre quién dijo eso. 

Visto esto, ¿cómo podemos hacer para que nuestra información no pueda ser obtenida por estas Inteligencias Artificiales?

Es tan simple como agregar unas cuantas líneas en el archivo robots.txt. Este archivo le da varias instrucciones a los navegadores sobre la información que se puede o no indexar, al igual que quitar el permiso de rastrear una URL a usuarios en específico. 

User-agent: OpenAI
Disallow: /
User-agent: ChatGPT
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: PetalBot
Disallow: /
User-agent: CCBot
Disallow: /

Aunque todo esto puede ser programado para saltarse estas instrucciones e incluso las instrucciones que pueden ser utilizadas en el htaccess o webconfig, estarás haciendo tu parte para que en un futuro, estas empresas le den reconocimiento a las fuentes.