¿Que hace que el Internet sea más rapido?

He estado buscando una respuesta durante días a esta pregunta, y no he encontrado nada en Internet que me lo responda de la manera que lo estoy buscando, mi pregunta mas concreta es la siguiente:

¿Que hace que el Internet de América Latina sea más lento que el de Japón (Dando un ejemplo)?

O sea, que influye en ello?, muchas paginas hablan sobre la infraestructura, pero la infraestructura de que?.
Ya que el Internet es un Conjunto de Computadores conectados entre si, que influye en la velocidad del mismo.

Gracias de antemano, espero puedan resolver mi duda.