Чем лучше замазывать дырки в кафельной плитке(в ванной),затиркой или алибастром?

Смотря какая дырка- т. е. размер.
1.Алебастр КАТЕГОРИЧЕСКИ нельзя применять во влажных помещениях. Он активно впитывает влагу и развалится.
2.При большой дырке используйте гидропломбы (вариантов множество от материалов фирмы Mapei до отечественных аналогов - в инете все подробности) .
3.При небольших отверстиях лучше заделать затиркой. НО.. . затиркой можно заделать площадь до 5-7см2, но не более толщины 0,5мм. При этом желательно еще и масляной (а также ПФ) краской сверху покрыть этот участок. Простейший вариант -цемент, сверху масляной или ПФ краской.

Затирка для плитки, алебастр от воды разрушается

Евгения канечно лудше всего использывать затирку для швов они идут водостойкие а алибастор он высохнет и раскрошится.

Затирка тот же алебастр тоесть вяжущее у них гипс, только в затирке есть красители и модификаторы .