Informática, tecnología y mucho más
Estás en Informática-Hoy > Internet >

Qué son y para qué sirven los Robots de la Web?

Comentarios (0)

Los Robots de la Web, también conocidos como Wanderers, Crawlers, o Spiders, son pequeños programas que motores de búsqueda como Google frecuentemente utilizan para la indexación y categorización de contenidos.

Estos robots recorren la web automáticamente indexando todos los contenidos que encuentran, para poder ser utilizados por los algoritmos de búsqueda de Google cuando realizamos alguna consulta en el buscador.

Que son y para que sirven los Robots de la Web?

Son robots que circulan por Internet, aparte de brindar a las compañías un servicio que es indispensable para una búsqueda y navegación satisfactoria por parte del usuario, también son utilizados, en forma ilegal y en grandes cantidades por los denominados "Spammers", quienes los programan para hallar direcciones de correo electrónico y otros tipo de datos que luego serán utilizados para el envío de spam y demás ilícitos.

Para todos aquellos usuarios que dispongan de un sitio y quieran establecer una política de seguridad en el mismo, que le garantice ser vistos por los robots de los buscadores y a su vez impedir que ciertas páginas no se puedan indexar, además de controlar el flagelo que significa el spam, a lo largo de este informe intentaremos brindar una serie de consejos y herramientas útiles que nos permitirán tener el control de los robots que acceden a nuestra página para su indexación.

El uso de archivos robots.txt

Uno de los métodos más utilizados por los Webmaster para restringir el acceso de ciertos robots a determinados contenidos de su sitio, es la creación de los denominados archivos "robots.txt".

Este archivo es utilizado para ofrecer instrucciones acerca de lo que se puede indexar y lo que no. Este método se llama "Protocolo de Exclusión de Robots" o "Robots Exclusion Standard" de su nombre en inglés.

Se trata de una técnica que se utiliza en los servicios de indexación de los buscadores para evitar que se añada información que no es relevante de los sitios webs investigados.

Como mencionamos, la incorporación de un archivo robots.txt en nuestro sitio web servirá al propósito de especificar que determinados robots no indexen directorios especificados, según lo declarado en el contenido del archivo robots.txt.

El funcionamiento de estos robots es simple, antes de acceder a una web, los mismos corroboran la existencia de un archivo robots.txt, el cual contendrá las instrucciones acerca de qué páginas deben indexar y cuales no.

No obstante, si bien es una práctica normal que todos los robots acreditados para este efecto respeten estas instrucciones, es posible que ciertos robots de indexación lo hagan en una forma diferente.

La inclusión de esta medida de seguridad no es obligatoria, y en algunos casos los webmaster de los sitios suelen utilizarlo para tareas de mejor posicionamiento cuando la página es indexada por el robot de un buscador en particular.

Como mencionamos, la inclusión del archivo robots.txt en nuestros sitios podría llegar a ser una buena medida de seguridad, sin embargo los Spammers y otro tipo de delincuentes informáticos pueden ignorarlo, y por lo tanto es esencial la protección de directorios y subdirectorios con contenidos privados con passwords.

También es importante destacar que los archivos robots.txt son sólo necesarios si en nuestra web poseemos contenidos que no queremos que sean indexados.

Si nuestro sitio no contiene material ni información que consideremos de índole privada, el uso de estos archivos robots.txt no será necesario.


Por Graciela Marker para Informática-Hoy.


Si esta página te gustó, puedes compartirla ...


Seguramente esto te interesa
Programas para bajar musica gratis
Una seleccion de los mejores programas para bajar musica gratis. Descargas gratis de todos.
6 Simples consejos para navegar seguros
Cada dia que pasa aparecen nuevas y mas sofisticadas amenazas que impiden que podamos disfrutar por completo de nuestra navegacion por Internet phishing, robos de identidad, Tabnabbing y muchas otras estan agazapadas esperando a que demos un paso en falso. En este articulo conoceremos algunos consejos para mantenernos a salvo.
Cómo limpiar las pantallas touchscreen
Las pantallas touchscreen frecuentemente presentan suciedad y manchas de grasa, la limpieza tiene que hacerse con mayor frecuencia y muchas veces esa limpieza no es la correcta para este tipo de material. Es por eso que en este articulo te mostramos cuales son las mejores y mas seguras formas de mantener tus pantallas tactiles impecables y cuidadas siempre.
Tecnología VoIP: llamadas a muy bajo costo
Cuando se piensa en reducir costos, las tecnologias actualmente disponibles pueden ayudar a ahorrar en telecomunicaciones, y la tecnologia VoIP (Voz sobre IP) es una buena opcion para ello. Conoce como VoIP puede significar un importante ahorro para tu empresa u hogar.
Todo lo que hay que saber antes de comprar una netbook
Las netbooks invadieron la esfera de la informatica nomade y han seducido en pocos meses a muchos usuarios.

Nos interesa tu comentario.
Ingresa el texto que ves en la imagen de abajo.
  
Comentarios de los usuarios


No hay comentarios aún, puedes dejarnos el tuyo.


Registrate para recibir nuestros mejores contenidos en tu e-mail Qué son y para qué sirven los Robots de la Web?
La inclusión del archivo robots.txt en nuestros sitios podría llegar a ser una buena medida de seguridad.