Почему при смешивании красного и синего цветов получается фиолетовый? Ведь в спектре фиолетовый вовсе не между ними.

Существенный момент: при смешивании синего и красного получается не фиолетовый, а пурпурный. Эти цвета похожи, но разные.
Теперь по существу. То, что ощущает человек - это трёхмерный вектор в пространстве цвета. Каждой компоненте соответствует сигнал от рецепторов "своего" вида.
Только зависимость чувствительности рецептора от длины волны разная. Чувствительность "синего" рецептора спадает намного круче, чем "красного" и "зелёного" (см. рис. в источнике) . Поэтому существует такая область длин волн, где с уменьшением длины волны доля синего падает. Это и есть ФИОЛЕТОВЫЙ цвет.