Estándar/protocolo de exclusión de robots (robots.txt) y el bot

Estándar/protocolo de exclusión de robots (robots.txt)

Sirve para catalogar informaciooon mostrada en un buscador; tambieen evita que ciertos bots/robots agreguen informaciooon innecesaria a los resultados de buuusqueda; tambieen sirve para hacer "secciones privadas", en un sitio web; sin embargo, si se sabe usar el navegador web, podriian ser vistas por algunas personas(se puede determinar el software usado, buscando "huellas tiipicas").

Por ejemplo, para negar el acceso a todos los "bots":

User-agent: * Disallow: /



El bot 


Es un programa de inteligencia artificial, que "automatiza" una o varias tareas, lleva a cabo una o diversas funcionalidades de manera "desatendida"; por ejemplo: para enviar "conversaciones a clientes y usuarios a traves de "canales electrónicos", para ofrecer un "nivel de ayuda". Telegram dispone de su propio servicio de bots: https://web.telegram.org .


Ref:

https://es.wikipedia.org/wiki/Est%C3%A1ndar_de_exclusi%C3%B3n_de_robots, https://www.definicionabc.com/tecnologia/bot.php