Специфический - это такой, который понравится не каждому?

Как правило этим словом характеризуют то свойство личности человека, которое присуще только ему, и может быть как хорошим, так и не очень

Синоним своеобразие.
То есть не каждому придётся по вкусу.

То, о чём вы спрашиваете - заключено в самом слове. Как и в более простых словах (специальный, специи, специалист), латинский корень special указывает на относительность качества или предмета. Например, специфически горький - это горький не как все. Специфический способ - это модель делать что-либо, не как все делают.
Это слово - не для того, чтобы рассматривать предметы в координатах нравится/не нравится. Оно - только маркер наличия некоей, обычно неразгаданной или необъясняемой особенности.

Своеобразный, непохожий на другие, ПОЭТОМУ может и не понравиться кому-то.
Вот такая расстановка акцентов.
____
Перед этим был вопрос "синоним к выражению "на любителя".
Да, подойдёт как синоним.
Есть стандартные выражения "вкус (у этого продукта) достаточно специфический", "имеет весьма специфический запах", "характер у этого человека... м-м-м... как бы это выразиться... довольно специфический"