Suscríbete Ahora!
Nuestras mejores notasen tu email
Luego de ingresar tu email, el sistema te enviará un correo para confirmar tu suscripción. Si no lo recibes inmediatamente recuerda revisar en tu bandeja de spam o de correos electrónicos no deseados.
Click aquí para suscribirte!
Googlebot respeta la utilización de patrones para formar concordancias, pero no todos los motores de búsqueda acatan las mismas.
Internet
Como utilizar los archivos robots.txt III
Comentarios (0)
<<< Artículo anterior
Si bien Googlebot respeta la utilización de patrones para formar concordancias, no todos los motores de búsqueda acatan las mismas.
Por ejemplo, para crear una concordancia válida para una determinada secuencia de caracteres mediante la utilización de un asterisco (*), y que impida el acceso a un directorio específico, debemos ingresar la siguiente entrada:
User-agent: Googlebot
Disallow: /documentacion*/
También podría llegar a ser muy útil la posibilidad de bloquear el acceso a todas las páginas que incluyan un signo de interrogación (?), es decir, todas aquellas URLs que posean el nombre del dominio al que pertenecen, en segundo lugar cualquier cadena de texto, el (?), y por último, otra cadena cualquiera de texto.
Un ejemplo de ello sería:
User-agent: Googlebot
Disallow: /*?
También es posible ajustar la concordancia con el final del texto de la URL, mediante la utilización del símbolo pesos ($).
Para mostrar un ejemplo de cómo esto puede llevarse a la práctica:
User-agent: Googlebot
Disallow: /*.xls$
Como podemos observar, con esta entrada hemos bloqueado para Googlebot, cualquier URL de nuestro sitio que finalice con .xls.
Contamos también con la opción de utilizar estas concordancias aplicando los denominados patrones en combinación con Allow.
Si en algún caso el símbolo (?) indicara el identificativo de una sesión, podemos hacer que los robots de indexación excluyan a todas las páginas que contienen este signo.
De esta manera nos estaríamos asegurando que el robot de Google no incluya páginas duplicadas en sus búsquedas.
También se puede dar el caso de que las URLs que terminan con el símbolo (?) sean precisamente las versiones de las mismas que sí queremos incluir.
Para evitar este problema, podemos optar por agregar en nuestro archivo robots.txt la siguiente entrada:
User-agent: *
Allow: /*?$
Disallow: /*?
La directiva Disallow: / *? bloqueará el acceso a todas las páginas que incluyan un signo de interrogación (?), es decir, todas aquellas URLs que posean el nombre del dominio al que pertenecen, en segundo lugar cualquier cadena de texto, el (?), y por último, otra cadena cualquiera de texto.
Por otra parte, la directiva Allow: /*?$ admitirá el acceso a todas las páginas que finalicen con un signo de interrogación (?). Es decir, todas aquellas URLs que posean el nombre del dominio al que pertenecen, en segundo lugar cualquier cadena de texto y por último el símbolo (?).
Con los parametros ofrecidos en este informe especial, ya podemos comenzar a trabajara en el archivo robot de nuestra página web, con el fin de sacar mayores provechos y lograr un mejor posicionamiento web.
Una vez que hayas creado el archivo robot.txt es recomendable realizar una prueba del funcionamiento del mismo. Para llevar a cabo esta evaluación, te invitamos a leer la guía titulada "Cómo probar un archivo robots.txt?".
Por Graciela Marker para Informática-Hoy.
Si esta página te gustó, puedes compartirla ...
Seguramente esto te interesa
Nos interesa tu comentario.
Comentarios de los usuarios
No hay comentarios aún, puedes dejarnos el tuyo.
Síguenos ...
Las últimas 10
Funcionalidades nuevas del Explorador de Archivos de Windows 8
Cómo instalar Windows 7 sin disco de instalación
El mejor editor de audio gratuito para Windows
Todas las utilidades de la Nube en una sola herramienta
Los mejores administradores de musica, fotos y videos
5 aplicaciones para exprimir la cámara de tu smartphone Android
Vínculos personalizados en tu perfil de Google+
DX-ECO: El mouse inalámbrico sin pilas de Genius
Cómo crear perfiles de usuario en Google Chrome
Fotos con efectos en un minuto para usar en Facebook
