Чем отличаются кавычки " " « » ?

Встречал разные типы кавычек:
" ", ” „ , « » , ' ' ;
Бывают кавычки обычные, как две запятые сверху строки, в начале и в конце. Бывают похожие, но одни в начале сверху, а вторые в конце снизу. Бывают похожие на математические знаки больше меньше (<, >, ⩽, ⩾, ≪, ≫). А некоторые люди, просто пишут одну запятую сверху, в начале и в конце. Что это значит?

Чем различаются разные типы кавычек?
Какое у них значение?
Взаимозаменяемы ли они?
Что будет если когда переписывать текст, например, вместо " " кавычек, написать « » кавычки?