La tendencia es que la GPU haga el trabajo grafico liberando de la carga a la CPU. La razon es que la arquitectura de cada elemento es muy diferente. Las GPU hacen calculos matematicos mejor, las CPU hacen tareas secuenciales mejor (y mas ahora con los multinucleos).
La caida de los frames se puede deber a varias cosas, incluso a la velocidad de la memoria RAM y/o latencias. Incluso puede ser que el software sea el culpable (drivers, el propio juego que esta mal optimizado o bugeado o no actualizado)
Solucion dificil: benchmarks. Comparando online puedes encontrar la solucion (que componente es el que se te queda corto).
Insisto, tu equipo deberia correr la mayoria de los juegos sin problemas.
¿Que juegos te dan problemas y donde? ¿Es solo en 1 juego o a casi todos?
¿Has probado a bajar alguna opcion tipo shades o antianalising?