Все лекарства яд? Всё дело в дозе?

Конечно. Даже про еду можно так сказать, а не только про лекарства.
Не зря существует выражение: принимай пищу, как лекарство, чтобы потом не принимать лекарства, как еду.