Só umas luzes. Existem "packs" para instalar isso tudo (não sei se para windows ou linux), mas para uma coisa "tip top" o melhor mesmo é instalar e configurar tudo com jeitinho.
Recomendo que instales ubuntu (GNU/LINUX) - basicamente next next next. Mais que fácil de usar, é dos SO's mais bem programados que existe. A partir do momento em que tiveres o sistema operativo instalado, tens à tua disposição um repositório de software online já configurado, que tem tudo o que precisas. Para acederes a ele corres a aplicação Synaptic (vem por defeito no gnome) que te faz a gestão visual das aplicações instaladas. Procuras apache, instalas se n tiver já instalado (é directo, ele faz o download automatico e instala), fazes o mesmo para o mysql e para o php.
....
Meti-me à procura de um howto para configurares tudo depois, mas encontrei isto:
https://help.ubuntu.com/community/ApacheMySQLPHP
Basicamente, tem tudo. Outra razão pela qual recomendo ubuntu. A comunidade e a entre-ajuda que existe.
Cumprimentos,
KrIaX.