На чём проще и лучше сделать оконное приложение для взаимодействия с Базой данных?

1) Ни в коем случае. Ни Delphi, ни Access, не назвать удачными технологиями, и на рынке они просто сейчас ни кому не нужны, как и ваш опыт работы с ними.
2) Уже лучше, но С++ усложнит задачу по сравнению с другими вариантами.
3) Под СУБД, очевидно, понимается MS SQL Server. В связке с LINQ и при использовании Entity Framework можно выполнить задачу максимально просто и быстро. Графический интерфейс тоже не составляет никакой проблемы.
4) Тот же аргумент, что и к Delphi.
Другое: веб-решения, очевидно, будут завязаны на браузер, в рамках вашей задачи это может не подойти. Помимо С# можно рассмотреть популярную связку Java + JDBC + Oracle DB + Swing, изучить будет проще, чем C#, кроме того, решение будет ещё и кроссплатформенным.