Можно ли написать программу на машинном языке в блокноте с расширением .ехе? Будет она запускаться?

В принципе можно, хотя большинство команд придется вводить через коды символов. Открой любой экзешник блокнотом - поймешь, о чем я.

Нет. В самом начале "на машинном языке" будут символы с кодами меньше 32. Они в тексте неизобразимы. А в "байтовом" редакторе (типа в Far Manager или утилите debug) - вполне можно, но ненужно.