Можно ли назвать брата сводным, если у нас с ним один и тот же отец?

Нет. Он неполнородный, единокровный брат. Сводные -- чужие дети, родители которых поженились, то есть "свели" их в одной семье. Потому и сводные.