Suscríbete Ahora!
Nuestras mejores notasen tu email
Luego de ingresar tu email, el sistema te enviará un correo para confirmar tu suscripción. Si no lo recibes inmediatamente recuerda revisar en tu bandeja de spam o de correos electrónicos no deseados.
Click aquí para suscribirte!
Los archivos robots.txt ofrecen la particularidad de poder impedir o admitir que los robots utilizados por los grandes buscadores como Google indexen todo o ciertas partes del contenido de nuestro sitio.
Internet
Como utilizar los archivos robots.txt
Comentarios (0)
Como sabemos, el buscador de contenidos más importante e innovador de la actualidad es Google, y también es el más utilizado por todo tipo de usuarios en todo el mundo.
En un artículo anterior habíamos mencionado la importancia que tiene la utilización de un pequeño archivo de texto plano denominado robots.txt en aspectos tales como la seguridad y el posicionamiento de nuestro sitio web.
Estos archivos ofrecen la particularidad de poder impedir o admitir que los robots utilizados por los grandes buscadores como Google indexen todo o ciertas partes del contenido de nuestro sitio, para posteriormente permitir que los internautas puedan acceder al mismo mediante una simple consulta en el cuadro de diálogo del buscador.
Y también es una muy útil herramienta para webmasters, los cuales la utilizan muy a menudo para controlar cómo son indexadas las páginas de un sitio, por cuanto las instrucciones contenidas en estos archivos robots.txt provee de las opciones necesarias para ejercer un efectivo control sobre qué contenidos indexan o no los buscadores.
En el presente informe especial veremos cómo especificar las instrucciones necesarias, y cómo volcarlas en nuestro propio archivo robots.txt para lograr un correcto y seguro indexado de nuestro sitio.
En primera instancia, cabe destacar que para obtener un archivo robots.txt correctamente configurado, bastará simplemente con crear un archivo de texto con un editor como Notepad o WordPad.
El uso de procesadores de texto más complejos como Open Office o Word es desaconsejable, debido a que insertan en el cuerpo del archivo diversos caracteres de control, que no son compatibles con la tarea que queremos realizar.
Para comenzar podemos decir que un archivo robots.txt se compone básicamente de dos reglas que serán consideradas como una entrada de tipo único.
Cabe destacar que podemos utilizar tantas entradas como creamos conveniente, cada una de ellas con las reglas Disallow y User-Agents pertinentes.
Un User-Agent es la denominación que recibe el robot del motor de búsqueda. Dado que estas reglas son bastante flexibles en su utilización, podemos configurar una entrada para que sea aplicada a un robot específico, ingresando su nombre, o para que sea aplicada a todos los robots, mediante el ingreso de un asterisco (*), mientras que la línea Disallow indica las páginas del sitio web que deseamos bloquear.
En este caso también podemos ingresar un nombre específico, es decir, la URL exacta de la página que queremos bloquear, o también es posible ingresar un patrón. Debemos recordar que la entrada debe siempre comenzar con una barra inclinada (/).
Un ejemplo básico de construcción de un archivo robots.txt sería el siguiente:
User-Agent: Esta regla indica a qué robot o robots se aplica la entrada.
Disallow: Esta regla indica la URL que deseamos que permanezca sin indexar.
Es importante recordar que cada entrada del archivo robots.txt es independiente y no deberá generarse a partir de secciones anteriores.
Ejemplos:
User-agent: *
Disallow: /documentos/
User-Agent: Googlebot
Disallow: /notas/
En el primer ejemplo podemos ver como permitimos la indexación del contenido de nuestra web a todos los robots, pero negamos la exploración del directorio /documentos/.
En el segundo ejemplo, no permitiremos el indexado de contenidos en el directorio /notas/ a Googlebot, el robot de Google.
Para obtener más información al respecto, te recomendamos la lectura de la segunda parte de este informe especial.
>>> Siguiente
Por Graciela Marker para Informática-Hoy.
Si esta página te gustó, puedes compartirla ...
Seguramente esto te interesa
Nos interesa tu comentario.
Comentarios de los usuarios
No hay comentarios aún, puedes dejarnos el tuyo.
Síguenos ...
Las últimas 10
Funcionalidades nuevas del Explorador de Archivos de Windows 8
Cómo instalar Windows 7 sin disco de instalación
El mejor editor de audio gratuito para Windows
Todas las utilidades de la Nube en una sola herramienta
Los mejores administradores de musica, fotos y videos
5 aplicaciones para exprimir la cámara de tu smartphone Android
Vínculos personalizados en tu perfil de Google+
DX-ECO: El mouse inalámbrico sin pilas de Genius
Cómo crear perfiles de usuario en Google Chrome
Fotos con efectos en un minuto para usar en Facebook
