Почему границы между странами бывают даже в центре города ?

Граница определяется договором между странами, если удалось договориться именно на разделение города, так и будет.

Так договорились - границы всегда прокладывают в результате договорных процессов даже между победителями и побеждёнными.

и надо вернуть ГДР взад

И пригласить в состав РФ Монголию.
Вообще действует принцип непересечения границ. То есть - вложенности контуров. То есть - никакие границы не пересекаются никакими другими.
Но бывают исключения, вызванные особыми обстоятельствами.
Восточный и западный Берлин, Никосия, Буда и Пешт (на разных берегах реки), Нарва и Иван-город... Там - по договоренности.

Так сложилось исторически

Вообще-то это редкость.
Западный Берлин образовался по договорённости СССР, взявшего Берлин полностью, и его западными союзниками, мы взамен получили (в состав ГДР, нашего вассала) территории к западу от Эльбы, почти не пострадавшие от войны - на завершающем этапе войны обреченная Германия отчаянно сопротивлялась советским войскам, союзникам же сдавалась без боя. Государственная граница прошла по узким улицам в плотной городской застройке, в силу технической невозможнсоти ее охранять пришлось возвести Берлинскую Стену.
Ватикан - это квартал в центре Рима, по размеру сравнимый с Москровским Кремлём. Это - резиденция Папы Римского, по международным договорённостям от 1929 года получившая статус полноценого субъекта международного права.
Крепость Иван-Город была возведена при Иване Третьем через реку Нарова (Нарва) от шведской крепости Нарва. Вокруг нее, как и вокруг крепости Нарва, возник посад (город) Иван-Город, весьма неказистый в сравнении с городом Нарва. В советское время два города жили по сути как единое целое - городские автобусы с эстонскими номерами ходили из Нарвы через реку в Иван-Город. С распадом СССР в 1991 году, по реке Нарова прошла государственая граница между РФ и Эстонией.
По сути одним городом являются и Валга (Эстония) / Валка (Латвия), их разделяет крохотная речушка. Но граница по ней существовала и в советское время: например, скорая помощь не везда больных из Валги за несколько сот метров в больницу Валки, а только за многие километры влубь Эстонии. Однажды в Фитиле был сюжет на эту тему, озаглавленный "Граница здравого смысла".

Посольства иностранных государств - это территория соответствующих государств. Переход через кпп подразумевает пересечение государственной границы.
Все посольства и консульства располагаются, как правило, в центре столичных или других крупных городов.
Вот, например, Посольство Франции в Москве занимает особняк Игумнова на Якиманке. Чтобы совершить экскурсию в это примечательное здание, надо получить специальное разрешение.
https://yandex.ru/search/?text=посольство франции в москве официальный сайт&lr=213&src=suggest_Pers