Допустим AGP8x 512Mb ATI RADEON™ X1550 DVI TV-Out (545/780MHz, 128-bit DDR2)Что такое 545/780?
И что лучше AGP или PCI?

545 - частота видеочипа
780 - частота на которой работает память.

Может быть не PCI а PCI-E, ибо видеокарты на PCI давным давно вымерли.

Если выбирать из AGP и PCI-E, то однозначно видюшка на PCI-E лучше. Это новый более скоростной стандарт. PCI-E есть только на новых материнках.
Поэтому перед покупкой видеокарты посмотрите какой слот есть на вашей материнке.

частота видеочипа и частота на которой работает память, просто чем больше тем лучше или это ещё зависет от материнки?

Чем больше, тем лучше.
От материнки и процессора зависит, но меньше. Самое главное, чтобы они по полной могли загрузить видеокарту, а с этим справится любой процессор ~ 3 ГГц