Bei Grafikkarten gilt nun mal, je mehr Leistung desto mehr Hitze.
Grafikkarten haben es gern, wenn man hinten zwei Slotbleche rausbricht. Ansonsten muss genug Luft aus dem PC-Gehäuse raus. Günstig ist z.B. ein Billig-Netzteil mit ungeregeltem 12-cm-Lüfter im Netzteilboden. PowerSilent 350 Watt, 27 Euro. Wenn Du eine Presscott-CPU einsetzt, ist es vielleicht aber nicht stabil genug.
Lass keinen Lüfter Luft ins Gehäuse drücken, das bringt den saugenden Luftzug (und der ist schon durchs Netzteil gegeben) durcheinander. Probier das erst mal und dann kann man immer noch über Grafikkarten reden. Spieltauglich so gerade eben war wohl die Radeon 9600XT. Es gibt welche mit riesigem passiven Kühler.
Dann musst Du Dir auch nochmal den CPU-Kühler genau anschauen. Was für eine CPU ist eingebaut?