Если отсканировать фото, что бы распечатать в формате крупнее, то она сильно потеряет в качестве?

Ну попробуйте может и получится

сильно.

очень сильно

Если фотография аналоговой печати сканируйте с масштабом 200% (разрешение 300) либо с разрешением 600 при масштабе 100% (больше сканировать нет смысла - бумажная фотография не несёт в себе больше информации) , в файле, отключив интерполяцию выставьте разрешение 150ppi. Если размеров в см (мм) не хватает - включайте интерполяцию и вводите нужные размеры в см (мм) , но после этого (хотя на холсте лучше это сделать для любой фотографии, а не только когда размеров не хватает) надо фотографию стилизировать под живопись фильтрами почитать как это лучше сделать можно вот здесь

Увеличить без потери можно максимум на 10 проц