1. Под Windows - cамое элементарное и самое удобное - поставить "Денвер" (
http://www.denwer.ru/). На сайте помимо базового пакета есть пакеты расширений.
Все по русски. Сам пользуюсь.
2. Ravenswood Joomla сервер (бывший JoomlaLite) - сервер для платформы win32 содержащий Apache, php, MySQL и предустановленную Joomla! 1.0.x серии. Такое сочетание обеспечивает полностью автономную окружающую среду для разработки, тестирования и проведения демонстраций. (Искать на
http://joom.ru/)
3.Устанавливать все по отдельности. Как это сделать, можно кучу статей найти через любой интернет-поисковик.
P.S. Это на вскидку. На самом деле вариантов на много больше.