как правильно писать гражданин Российской Федерации, или гражданка?

Если судить по паспорту, то у нас каждый "гражданин Российской Федерации" вне зависимости от пола.

Гражданин. У этого слова в официальном употреблении нет женского рода. На бытовом уровне при разговоре можно употреблять гражданка.

гр-ка на бытовом уровне

В свидетельстве о рождении написано как правильно! И в свидетельстве о браке (если есть такое)