Spider Também conhecido como Robô, Robot, Bot ou Crawler. São programas usados pelos mecanismos de busca para explorar a internet de maneira automática e fazer download de conteúdo web de sites web. De forma metódica, não expões o conteúdo que julga irrelevante no código fonte dos sites, e armazena o resto em seu banco de dados. Deste modo, os mecanismos de busca baseados em robôs (spider ou crawlers) que vasculham a Internet atrás de informações e classificam as buscas de acordo com os links e também os conteúdos encontrados nas páginas de busca, como é o caso do maior portal de buscas da web, o Google. Deste modo, qualquer página precisa ser rastreada pelo robô e assim, poder aparecer nos resultados de busca dos mecanismos em questão. Segundo Thurow (2003), os robôs executam três ações básicas: Primeiro eles acham as páginas do sítio (processo chamado spidering ou crawling) e constroem uma lista de palavras e frases encontradas em cada página; Com esta lista eles fazem um banco de dados e encontram as páginas exatas que eles devem procurar, inserindo o sítio vasculhado no banco de dados geral organizado pelas características encontradas em suas páginas. A máquina que insere o sítio no banco de dados geral se chama indexer; Depois disso o robô já está apto a encontrar este sítio quando o usuário final digitar na busca uma palavra ou expressão relativa ao conteúdo encontrado no sítio. Essa etapa é chamada query processor.
Post completo em:
https://www.oficinadanet.com.br/artigo/otimizacao__seo/qual-a-diferenca-entre-robo-spider-e-crawler
Questão difícil
GAB: B
Como funciona uma ferramenta de busca
A tarefa de ferramentas de busca na web, como o Yahoo! e o Cadê? não é nada fácil. Imagine vasculhar, a cada busca, bilhões de sites procurando informações precisas, como a o nome do autor de um livro ou a localização de um estabelecimento. Esse trabalho gigantesco é executado pelas SPIDERS OU ROBOTS, programas que entram nas páginas e lêem seus conteúdos, assim como internautas comuns
Crawler, também conhecido como SPIDER ou BOT, é um robô usado pelos buscadores para encontrar e indexar páginas de um site. Ele captura informações das páginas e cadastra os links encontrados, possibilitando encontrar outras páginas e mantendo sua base de dados atualizada
Exemplos de Web Crawlers
Yahoo! Sluro é o nome do Crawler do Yahoo!
Msnbot é o nome do Crawler do Bing – Microsoft.
Googlebot é o nome do Crawler do Google.
Methabot é um Crawler com suporte a scripting escrito em C.
Arachnode.net é um Web Crawler open-source usando a plataforma .NET e escrito em C#
DuckDuckBot é o Web Crawler do DuckDuckGo.
http://www.globalad.com.br/blog/o-que-e-crawler/
http://www.puc-rio.br/parcerias/yahoo/tutorial_busca.html