могу ли я не давать разрешения на вывоз ребёнка за границу своей бывшей жене?

Согласно последним требованиям и нормам действующего законодательства (на буду сейчас углубляться в циферно-статейную раскладку - при желании отпишусь мылом), Вы имеет полное право отказать Вашему ребенку в выезде за границу.
Вашей бывшей жене Вы запретить ничего не можете - она Вам теперь никто и звать ее никак (с точки зрения Закона, конечно).

Поэтому, в данной ситуации Вы накладываете ограничения на выезд именно РЕБЕНКА, но никак не жены, т.е. в результате Ваших действий страдает Ваш малыш. Подумайте, надо ли Вам это. Было у меня в производстве однажды дело, о требовании бывшей жены лишить бывшего мужа родительских прав. Суть дела заключалась как раз в том, что бывший муж запрещал (из соображений - "ни мне - так никому!") ездить с ребенком отдыхать за границу. Исход дела был таков: мужа ограничили в правах в судебном порядке.

Как показывает практика, при желании (большом) бывшей супруги "посудиться" с бывшим мужем суд в 97 % случаев встает на сторону супруги. Подумайте, нужны ли Вам такие проблемы - вплоть до подсудности?