Как называеться не доказуемая теорема?

Так и называется -- недоказуемая (в одно слово) теорема. :)

Теперь отвечу несколько серьёзней.

Теорема доказуема по определению, :) т. к. под теоремами принято понимать утверждения, которые справедливы в некоторой определённой теории (например, являются следствиями аксиом, а следовательно, выводимы из них, т. е. ДОКАЗУЕМЫ) .

Тем не менее, иногда теоремами называют утверждения определённого вида (например, теорема Пифагора, теорема о дедукции, и др.) , которые могут быть справедливы (выводимы, доказуемы) в одной теории и не справедливы (не выводимы, не доказуемы) в другой. Например, теорема Пифагора справедлива в рамках геометрии Евклида (геометрии плоскости) , но не справедлива в геометрии Римана (сферы) , в геометрии Лобачевского (псевдосферы) .

Так вот, я понимаю Ваш вопрос следующим образом: "как называется утверждение (=теорема) , не доказуемая (здесь -- в два слова) в рамках данной теории? "

Сразу отмечу, что если утверждение не доказуемо в некоторой теории, то ВСЕГДА можно указать теорию, где оно доказуемо (даже указать теорию, в которой дважды два равно пяти; правда, такая теория не представляют практического интереса) . Но это так, к слову. Я просто хотел сказать, что не доказуемых НИ В КАКОЙ теории утверждений не бывает.

И, кстати, для всякого утверждения несложно указать теорию, в которой оно не является доказуемым. :) Это тоже так, к слову.

Так вот, возможны варианты.

1. Утверждение (=теорема) не доказуемо в теории, т. к. в этой теории доказуемо отрицание этого утверждения. В этом случае наше утверждение не совместимо с теорией или, если больше нравится, противоречит теории (выбирайте любое из названий) . Пример: в арифметике не доказуемо утверждение "существует простое чётное число, большее двух", т. к. доказуемо утверждение, состоящее в том, что такого числа не существует.

2. Возможно, что в теории не доказуемо ни само утверждение, ни ему противоположное. Такое утверждение (=теорема) называют независимым (а также не выводимым в теории, или как раз не доказуемым в теории) . Примерами могут служить континуум-гипотеза и аксиома выбора по отношению к теории множеств: в теории множеств не выводимы ни та, ни другая, а также не выводимы их отрицания (при принятии утверждения о непротиворечивости теории множеств) .

Кстати, слова "гипотеза" и "аксиома" здесь весьма условны -- это просто исторически сложившиеся названия соответствующих утверждений. И то, и другое -- не доказуемые в теории множеств "теоремы", но их можно добавлять в качестве.. . аксиом, чтобы получать расширения теории множеств. :)

Удачи!
Ну и небольшая ремарка. Аксиома теории, конечно же, доказуема в теории. :) Соответствующее доказательство состоит из этой аксиомы. Поэтому Вы правы -- ответ "аксиома" не является верным.