Могли ли мужья сестёр султана заходить в гарем?

Имеется в виду не в сам гарем где наложницы, а в тот гарем, где жили валиде; жёны султана, родившие шехзаде; в комнату своей жены? Если нет, то где они жили, если сёстры султана остались в гареме, а не отправлялись в свой личный дворец?