Повышается напряжение при подключении нагрузки.

Может мощность потребления электроэнергии нагрузки (W потребления) превышает номинальную (расчетную) мощность источника тока?
Не уверен, но может во время короткого замыкания напряжение в сети на мгновение подскакивает.

Может конденсатор малый, а в нагрузке ещё один.

Вопрос к изготовителю-самодеятелю. Не к нам.
Мы без схемы некумекаем.....

где-то ошибка в схеме

Знать бы что такое "из АТХ". Есть только одно предположение такой загадки, что на выходе блока питания нет или не достаточной емкости конденсатор. А в нагрузке конденсатор большей емкости. Вот он и перебивает заряд на корень из двух от конденсатора малой емкости в БП. Ну а по сути не видя схему и ваш "шедевр" трудно ответить

токовая зависимость напряжения, чем больше ток, тем боллше напряжение.

для обеспечения тока нагрузки

У этих схема стабилизации смотрит/следит за линией 5 вольт(или 3,3вольт). 12 вольтовая линия(точнее -её состояние) как следствие.
И когда нагружаешь трансформатор, понижается напряжение линии 5 вольт, обратная связь увеличивает длительность импульсов шим(силовой ключ общая), стабилизирует 5 вольт, а при этом 12 вольт может и поднимется. И вообще то, так как внесли изменения в схеме, может и этот эффект просто усилился. Предлагаю заранее нагружать (на постоянной основе)линию 5 вольт током в несколько ампер, потом выставить 12 вольт.