Ставится ли запятая в этом предложении? Именно тогда, когда мне исполнилось пять лет.

Да, конечно, ставится. Перед "когда", если это слово в середине предложения, ставится обязательно.