Скажите, пожалуйста, нужно ли после наречия "домой", перед уточнением, ставить запятую?

Да. Уточняющие члены обособляются. Уточнение всегда будет тем же членом предложения, что и уточняемое слово. Вы уточняете обстоятельства МЕСТА ( куда?), а не наречие.