El imperio portugués acaba siendo una "concesión" del británico para debilitar al español. Se entiende mejor como "proxy" o protectorado igual que hoy la UE lo es de EEUU, más que como imperio propio. Si por sus propios méritos fuera, Angola y Mozambique no existirían, y Brasil no sería ni la cuarta parte de lo que es hoy. Descartado.
Holanda podría haber dejado una Indonesia calvinista y neerlandófona en los 300 años que estuvo, y hoy no sería moco de pavo con sus 300 y pico millones de habitantes (sería una especie de Brasil holandés malayo) pero su imperio fue de una condición tan depredadora y tan poco generadora, que se fueron de allí y al año siguiente fue como si nunca hubieran estado. Descartada.
Francia es una potencia "paleta", es decir regionalista y eurocentrista en vez de universal, toda su historia es querer sobresalir en Europa y olvidarse del mundo (regalando la Luisiana a los EEUU, prefiriendo minúsculas islas del Caribe en vez de Nueva Francia...), para cuando se da cuenta de que esta política la condena a una eterna segunda fila, ya es tarde y sólo puede desbrozar media África, y lo hace mal. Tan mal que perecerá consumida en su propio no-imperio. Descartada.
Alemania no tuvo tiempo, ni la dejaron, desarrollar un imperio colonial. Pero iba por el mismo camino de los belgas y franceses. Descartada.
Así que sólo nos queda Inglaterra para responder a la pregunta del post. Aún así, el imperio británico ha perpetuado su legado sólo por la suerte inmensa de que los EEUU hayan elegido el inglés como lengua vehicular. Si por cualquier carambola histórica, EEUU hubiera elegido una identidad hispánica, tendríamos inmediatamente un mundo sin legado británico (Canadá y Australia son desiertos, la India recuperaría aún más rápido su cultura tradicional); sólo le quedaría África como a los franceses.
Resumen: imperio británico gracias a EEUU, después España. El resto, no les llegan ni a los tobillos.