Muitas pernas para andar

Muitos perguntam como funcionam os motores de busca. A resposta está nos sistemas de web crawling (ver o significado aqui). E muitos motores de busca mantém os seus sistemas em segredo. Entretanto, o 80legs está aberto ao público em geral. Gratuito até um determinado patamar. Aconselho a ler este artigo: ver aqui e para quem esteja interessado, deve experimentar!

http://www.80legs.com/