Para melhor entendimento da matéria e complementando os comentários:
Os motores de busca funcionam, basicamente, em três etapas:
1)CRAWLING:
Primeiramente, os buscadoresrastreiam os conteúdos da web. Eles seguem os caminhos que os links apontam, em busca de novas páginas e atualizações. (Quem faz isso são os robôs ou spiders)
2)INDEXAÇÃO:
Na sequência, as páginas rastreadas são indexadas. Ou seja,elas vão para o índice do buscador, que funciona como uma grande biblioteca de conteúdosda web.
3)RANKEAMENTO:
Acontece toda vez que um usuário faz uma pesquisa, a classificação então é definida pela melhor correspondência de palavra chave, autoridade do domínio, relevância dos links, conteúdo original e de qualidade, e muitos outros fatores existentes (existem + de 150 fatores)
obs: Crawling e Indexação acontecem a todo momento
Fonte: QC