Была ли приставка "БЕС-" раньше в русском языке? Ну там 300-400 лет назад? Писали также: БЕССЕРДЕЧНЫЙ, БЕСПЛАТНЫЙ,

Лет 300-400 назад всё было настолько другим, что ты бы вряд ли понял и 20% тогдашней речи. Речь живая, постоянно обрастает кучей неологизмов. Тем более в те времена письменность была в наличии только у служителей культов и вельмож. Народ же базарил устно, не пользуясь вообще никакой грамматикой. Поэтому сказать БЕС или БЕЗ вообще просто бред.

Чтобы это проверить, попробуй прочитать старорусскую библию. Чисто интуитивно поймёшь треть слов.

нормы современного русского литературного языка (в том числе и орфографические) начали вырабатываться в 18 веке, а худо-бедно "устаканились" только в 19. до этого писали как хотели (тот же Пётр Великий, например, слово "возчиков" в своих указах прописывал как "вощикоф", при этом он не являлся безграмотным, просто тогда так было можно).
соответственно, и правописание приставок на звонкие на стыке с глухими гуляло как хотело.
в "дореволюционной" орфографии предписывалось использовать только звонкие ("безстрашный", "розскажу" и т. д.), большевики решили немного упростить людям жизнь и ввели в данном случае правило "как слышим - так и пишем", отсюда и закрепление орфографического варианта "бес-" на уровне нормы перед корнями, начинающимися с глухих.

однако "бесовского" ничего в этом префиксе нет - это всего лишь вариант, наподобие "раз-" и "рас-", "из-" и "ис-" и т. д.