{"id":11683,"date":"2020-10-29T14:10:59","date_gmt":"2020-10-29T17:10:59","guid":{"rendered":"https:\/\/novo.siteup.dev\/?p=11683"},"modified":"2024-01-16T16:22:03","modified_gmt":"2024-01-16T19:22:03","slug":"robots-txt-e-seo-o-que-saber","status":"publish","type":"post","link":"https:\/\/novo.siteup.dev\/en\/robots-txt-e-seo-o-que-saber\/","title":{"rendered":"Robots.txt e SEO: tudo o que voc\u00ea precisa saber"},"content":{"rendered":"

O Robots.txt \u00e9 um dos arquivos mais simples dentro de um site. Mas tamb\u00e9m pode ser um dos mais problem\u00e1ticos.\u00a0<\/span><\/p>\n

Isso acontece porque uma simples troca de um caractere pode fazer com que o Google n\u00e3o encontre mais o seu conte\u00fado para mostrar aos usu\u00e1rios. Dessa forma, isso vai prejudicar muito o <\/span>SEO<\/span><\/a> que voc\u00ea construiu.<\/span><\/p>\n

Pensando na import\u00e2ncia deste assunto, neste texto voc\u00ea vai aprender sobre:<\/b><\/p>\n

    \n
  1. O que \u00e9 um arquivo Robots.txt<\/span><\/li>\n
  2. Como reconhecer um arquivo Robots.txt<\/span><\/li>\n
  3. Voc\u00ea realmente precisa de um arquivo Robots.txt?<\/span><\/li>\n
  4. Como encontrar o arquivo Robots.txt do seu site<\/span><\/li>\n
  5. Como criar um arquivo Robots.txt<\/span><\/li>\n
  6. Quais s\u00e3o as boas pr\u00e1ticas de uso do arquivo Robots.txt<\/span><\/li>\n
  7. Exemplos de arquivos Robots.txt<\/span><\/li>\n
  8. Como encontrar erros em um arquivo Robots.txt<\/span><\/li>\n
  9. FAQs<\/span><\/span><\/li>\n<\/ol>\n

    1. O que \u00e9 um arquivo Robots.txt<\/span><\/h2>\n

    O Robots.txt \u00e9 um arquivo hospedado na raiz de um site. Este arquivo de texto conta com instru\u00e7\u00f5es, direcionadas aos rob\u00f4s do Google e outros buscadores.<\/span><\/p>\n

    Neste arquivo voc\u00ea deve informar tr\u00eas pontos principais:<\/span><\/p>\n

      \n
    1. Quais diret\u00f3rios n\u00e3o devem ser rastreados pelos motores de busca;<\/span><\/li>\n
    2. Arquivos que n\u00e3o devem ser indexados;<\/span><\/li>\n
    3. O mapa do site com as <\/span>URLs que devem ser rastreadas pelo Google<\/span><\/a>.<\/span><\/li>\n<\/ol>\n

      Considerando todas essas informa\u00e7\u00f5es, um arquivo Robots.txt n\u00e3o revisado \u00e9 um grande risco. O que acontece \u00e9 que o site pode acabar n\u00e3o aparecendo para os usu\u00e1rios.\u00a0<\/span><\/p>\n

      Isso porque quando o site est\u00e1 sendo criado, os programadores adicionam a seguinte configura\u00e7\u00e3o ao Robots.txt:<\/span><\/p>\n

       <\/p>\n

      User-agent: *<\/span><\/p>\n

      Disallow: \/<\/span><\/p>\n

       <\/p>\n

      Nesse caso, o arquivo est\u00e1 dizendo para todos os rob\u00f4s (user-agent: *) que n\u00e3o realizem o rastreamento de p\u00e1ginas do site (com o comando disallow: \/). Por isso, quando o site for lan\u00e7ado essa instru\u00e7\u00e3o precisa ser alterada. Caso contr\u00e1rio o site n\u00e3o ser\u00e1 encontrado.<\/span><\/p>\n

      O Google tem uma p\u00e1gina dedicada ao Robots.txt, <\/span>acesse clicando aqui<\/span><\/a>.<\/span><\/p>\n

       <\/p>\n

      2. Como reconhecer um arquivo Robots.txt<\/span><\/h2>\n

      Um arquivo Robots.txt \u00e9 escrito da seguinte forma:<\/span><\/p>\n

       <\/p>\n

      Sitemap: [URL location of sitemap]<\/span><\/p>\n

       <\/p>\n

      User-agent: [bot identifier]<\/span><\/p>\n

      [directive 1]<\/span><\/p>\n

      [directive 2]<\/span><\/p>\n

      [directive …]<\/span><\/p>\n

       <\/p>\n

      User-agent: [another bot identifier]<\/span><\/p>\n

      [directive 1]<\/span><\/p>\n

      [directive 2]<\/span><\/p>\n

      [directive …]<\/span><\/p>\n

       <\/p>\n

      Em resumo, o que deve ser feito \u00e9 adicionar regras para os rob\u00f4s determinando qual \u00e9 o user-agent e quais s\u00e3o as diretivas.<\/span><\/p>\n

      User-agent<\/span><\/h2>\n

      O user-agent \u00e9 o campo no qual voc\u00ea deve definir para qual rob\u00f4 a regra na sequ\u00eancia dever\u00e1 ser aplicada. Por padr\u00e3o, esta ser\u00e1 sempre a primeira linha de qualquer regra. Caso voc\u00ea queira incluir todos os rob\u00f4s em uma \u00fanica regra, deve utilizar o s\u00edmbolo *.<\/span><\/p>\n

      Os user-agents mais importantes para SEO s\u00e3o:<\/span><\/p>\n