Hola, Wintxcodeanos.
Queria saber que piensa cada uno, respeto a las APIS que usan actualmente los navegadores u motores de busqueda y como hacen estos para indexar las web a sus motores de busqueda y como creen que se puede desarrollar una api para que esta tome a todos los sitios de la red indexando cada uno.
Va por algoritmos entendiendo el algoritmo de google tienes mucho hecho, pero cambia muchas veces así que para que una web mantenga buen SEO hay que ir actualizandola contastemente - http://deteresa.com/cambios-algoritmo-google/