Para llegar a ti, los paquetes (los datos) deben pasar por una serie de nodos en la red. No va directamente por tu cable al cable del servidor que te manda los datos.
Podemos despreciar en la mayoría de los casos el tiempo de tras*misión a través del cable, pero cuánto más lejos estés del servidor, más probable es que los datos tengan que pasar más nodos. Cada nodo añade tiempo.
Para más información,
Kurose y Ross.