Обычно при транспонировании просто меняют местами
matrix[i][j]
и
matrix[j][i]
А тут, судя по названию функции, матрицу хотят повернуть.
Причём поворачивают в два шага: сначала транспонируют, а потом отражают по горизонтали.
Попробуйте проделать такие преобразования с квадратным листом бумаги, помеченным буквой с одной стороны, и вы увидите, что происходит поворот.