robots.txt

Durante tres décadas, un pequeño archivo de texto ha mantenido a Internet alejado del caos. Conocido como robots.txt, este archivo permite a los propietarios de sitios web indicar qué motores…