18:01:43 Archivo robots.txt | |
Tweet
Archivo Robots.txtCuando las arañas de los buscadores visitan un sitio web lo primero que hace es comprobar si existe el archivo robots.txt, y si este archivo esta disponible en la raíz del servidor será analizado para seguir las instrucciones del webmaster. Solo puede existir un único archivo robots.txt, tiene que llamarse de la misma forma y residir en la raíz del servidor. Por ejemplo http://www.posicionamiento-web.org/robots.txt aquí se encuentra las instrucciones que yo les dejo a las arañas de los buscadores que seguir. User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /index/0-3 Disallow: /index/0-2 En este ejemplo del archivo robots.txt, que es de este blog indico a los buscadores ("*" significa "cualquier robot”) que no les permito indexar "Disallow” las paginas: /a/, /stat/, /panel/, /admin/, /secure/, /informer/, etc… Por ejemplo si tu sitio aun no esta acabado, sea esta en construcción y no quieres que ningún robot lo visite solo tienes que dejar el archivo robot.txt User-agent: * Disallow: / De esta forma los robots de los buscadores no podrán indexar tu sitio, les estas prohibiendo que entre en tu sitio web. Si solo quieres excluir a un solo robot de tu sitio web User-agent: Googlebot Disallow: / Googlebot es el robot de Google. De lo contrario si solo quieres permitir que visite tu sitio un solo robot User-agent: Googlebot Disallow: / User-agent: * Disallow: / Si quieres ver un ejemplo de un archivo robots.txt puedes escribir en la barra de direcciones el nombre de dominio y seguido por robots.txt. Este archivo siempre se encuentra en el mismo lugar y con el mismo nombre. | |
|
ENTRADAS RELACIONADAS Categoría: Posicionamiento Web | Visiones: 1979 | Ha añadido: sorin | Tags: | Ranking: 5.0/1 | |
|
Suscríbete por RSS
 Sigueme en Twitter
Facebook
Búsqueda
Categorías
Nuevo en el Blog
Páginas amigas
Posicionamiento web Consultor SEO Marketing Online SEO SEOfeminino SEO Costa Rica Hello Google Juegos Gratis Miss Conversion Posicionamiento SEO Noticias de tecnologia Posicionamiento Web Valencia posicionamiento de paginas web Consultora SEO Utilidades para Webmasters Paginas web Posicionamiento web Colegas SEO
Formulario de entrada
|
Inicio » 2009 » Diciembre » 11 » Archivo robots.txt
|