Если в предложении стоит восклицательный знак, то после него обязательно писать с большой буквы?

На самом деле, после восклицательного знака слово не всегда пишется с большой буквы:
1. В восклицательных предложениях знак восклицательный может ставиться после каждого однородного члена для обозначения эмоциональной прерывистости речи, например: Пил мёртвую! не спал ночей по девяти!
Всё отвергал: законы! совесть! веру! (Грибоедов) .
2. Знак восклицательный ставится после обращений, стоящих в начале предложения, и междометий, стоящих как в начале, так и в середине предложения (второе встречается только в поэтической речи) , если такие обращения и междометия являются восклицательными, например: Старик! Я слышал много раз, что ты меня от смерти спас (Лермонтов) . А ныне, ах! за весь его любовный жар готовился ему несносный столь удар (Крылов) .
3. Знак восклицательный в скобках ставится внутри или после цитаты для выражения отношения автора (иронии, возмущения и т. п. ) к цитируемому тексту.