Tengo que hacer una especie de robot o spider
que recorra la web y que me indexe en una base de datos local de forma
automatica los nombres de las url's que encuentre y sus links internos.
Alguien me podria sugerir que lenguaje deberia usar, y de ser posible algun ejemplo
en codigo fuente |