что значит в геометрии знак ' ?

Апостраф, мягкость звука

Апостро́ф [1] (фр. apostrophe от др. -греч. ἀπόστροφος — «обращённый назад») — небуквенный орфографический знак в виде надстрочной запятой (’), который употребляется в буквенном письме разных языков в различных функциях.

ну в алгебре это была б производная

Произносится "прим". Употребляется для обозначения точек. Например, у вершины куба стоит A' - значит, эта вершина куба обозначена "А прим".