Может ли сгореть видеокарта после разгона оперативной памяти?

Не может. Скорей всего у тебя система не грузится из-за того, что планка не может работать с такой частотой и нужен сброс биос. А сама система это сделать не в состоянии.
Сбрасывай, а потом либо увеличивай таминги, или повышай напругу до 1.65 максимум на DDR3