Уплата НДС 20% при действующем патенте

Подскажите как уплачивается НДС при патенте?

Оказал услугу, выставил счет фактуру с НДС 20%.

Через некоторое время приходит к заказчику требование с пояснением почему между нами получились разногласия. Заказчик сдал НДС, а я не сдал ( т.к. на патенте).

Разъясните пожалуйста как платится НДС на патенте.. (ведь я его оформил чтобы не платить НДС))