Suscríbete Ahora!

Nuestras mejores notas
en tu email

Luego de ingresar tu email, el sistema te enviará un correo para confirmar tu suscripción. Si no lo recibes inmediatamente recuerda revisar en tu bandeja de spam o de correos electrónicos no deseados.

Click aquí para suscribirte!

Como utilizar los archivos robots.txt II

Además de Googlebot, se utilizan normalmente otros robots tales como Googlebot-Mobile y Googlebot-Image.

Internet

Como utilizar los archivos robots.txt II

Comentarios (0)

<<< Artículo anterior

La compañía Google utiliza diferentes robots específicos para cada tarea en particular.

Además de Googlebot, se utilizan normalmente otros robots tales como Googlebot-Mobile y Googlebot-Image.

Estos robots son compatibles con las reglas que rigen para Googlebot, sin embargo es posible definir reglas específicas para cada uno de ellos.

En las siguientes líneas podremos observar una serie de ejemplos prácticos que nos permitirán conformar correctamente el contenido de nuestro archivo robots.txt.

Bloqueos de directorios, subdirectorios y páginas específicas

En caso de desear bloquear la indexación de todo el contenido de un sitio, no permitiendo el ingreso de ningún robot a ningún directorio o subdirectorio del mismo, debemos ingresar el siguiente texto:

User-Agent: *

Disallow: /

Como en el ejemplo anterior, pero bloqueando el ingreso a un directorio específico y todo su contenido, insertaremos una barra inclinada al final del nombre del mismo, quedando de la siguiente manera:

User-Agent: *
Disallow: /documentos/

En el caso de que deseemos bloquear sólo una página, debemos escribir la ubicación de la misma directamente después de la barra inclinada de la siguiente forma:

User-Agent: *

Disallow: /nombres.html

Uso del archivo robots.txt para el bloqueo de imágenes

Como mencionamos al principio de este informe, Google dispone de robots para el indexado específico de imágenes, que siguen las reglas establecidas para Googlebot, pero también es posible pasarles parámetros especiales para el bloqueo de directorios y subdirectorios que contengan imágenes.

Para evitar que una imagen o un grupo de imágenes sean indexadas por Google, debemos añadir el siguiente texto a nuestro archivo robots.txt.

User-agent: Googlebot-Image

Disallow: /imagenes/mapas.jpg

En el siguiente ejemplo, podemos observar como bloquear todas las imágenes de un sitio web.

User-agent: Googlebot-Image

Disallow: /

Otra característica muy útil que podemos implementar es la de bloquear para su indexación formatos de imagen determinados como PNG o GIF.

Para ello debemos agregar la siguiente entrada a nuestro archivo:

User-agent: Googlebot

Disallow: /*.png$

AdSense, robots y Google

Para utilizar este tipo de sistema de bloqueos, debemos tener en cuenta que si bloqueamos determinadas páginas de nuestro sitio, y estas disponen del sistema de publicidad AdSense, también bloquearemos las ganancias que podamos obtener de ellas.

Para evitar que estos suceda, existe una regla que podemos utilizar que nos permitirá tener en nuestro sitio contenidos bloqueados para su indexación, pero aún mantener intacta su capacidad para generar divisas.

Lograr este objetivo es bastante sencillo. Debemos inhabilitar el acceso a nuestro sitio de todos los robots, pero menos a los robots que utiliza Google para determinar qué tipos de anuncio se publicarán en determinado lugar.

Esta simple entrada en nuestro archivo robots.txt impide que las páginas sean indexadas para aparecer en los resultados de la búsqueda, pero sí le otorga acceso al robot Googlebot-Mediapartners, que es el encargado de Google para estas tareas.

User-agent: *

Disallow: /

User-agent: Mediapartners-Google

Allow: /

Como se puede ver encima de estas líneas, en la primera entrada hemos impedido el acceso a todos los robots a todos los contenidos de nuestro sitio.

Y en la segunda entrada, le permitimos el acceso a Mediapartners-Google a todos los contenidos.

Cabe destacar que el robot Googlebot-Mediapartners no comparte páginas con el resto de User-Agents de Google.

Para conocer más información al respecto, te invitamos a leer la última parte de este informe especial.

>>> Siguiente

Por Graciela Marker para Informática-Hoy.

Si esta página te gustó, puedes compartirla ...

Seguramente esto te interesa

Programas para bajar musica gratis

Una seleccion de los mejores programas para bajar musica gratis. Descargas gratis de todos.

6 Simples consejos para navegar seguros

Cada dia que pasa aparecen nuevas y mas sofisticadas amenazas que impiden que podamos disfrutar por completo de nuestra navegacion por Internet phishing, robos de identidad, Tabnabbing y muchas otras estan agazapadas esperando a que demos un paso en falso. En este articulo conoceremos algunos consejos para mantenernos a salvo.

Cómo limpiar las pantallas touchscreen

Las pantallas touchscreen frecuentemente presentan suciedad y manchas de grasa, la limpieza tiene que hacerse con mayor frecuencia y muchas veces esa limpieza no es la correcta para este tipo de material. Es por eso que en este articulo te mostramos cuales son las mejores y mas seguras formas de mantener tus pantallas tactiles impecables y cuidadas siempre.

Tecnología VoIP: llamadas a muy bajo costo

Cuando se piensa en reducir costos, las tecnologias actualmente disponibles pueden ayudar a ahorrar en telecomunicaciones, y la tecnologia VoIP (Voz sobre IP) es una buena opcion para ello. Conoce como VoIP puede significar un importante ahorro para tu empresa u hogar.

Todo lo que hay que saber antes de comprar una netbook