A lo mejor realmente no tienes fibra, sino HFC, esto es fácil de comprobar, haces un test de velocidad en una hora menos punta, por ejemplo por la mañana, y si la velocidad de subida no pasa de unos 100Mbps pues tienes HFC (el HFC con más de 100Mbps de descarga ya no puede ofrecer simetría), o también mirando que cable llega hasta el router, si es fibra o es cable coaxial. En HFC suele haber más problemas de saturación de nodo en determinadas zonas; también si tienes fibra pero esta es indirecta, por ejemplo por Movistar, hay más problemas de saturación en el PAI, lo mejor para no tener problemas de saturación o los mínimos posibles es contratar con el dueño del cable. Esto último lo puedes intuir viendo las cajas a ver de que compañías son, si no hay ninguna de Vodafone y solo tienes de Movistar o de Orange pues tienes fibra indirecta. Y es que si dices que el problema también ocurre usando ethernet, parece saturación externa y no de wifi.
Si es una de estas 2 cosas pues mejor cambiar a una compañía dueña de su cable, si tienes fibra Movistar disponible pues lo mejor calidad/precio sería O2, 38€ por 500MB (en realidad son 600) y 50GB línea móvil.