Я указываю на ручку и говорю 1. this is a pen 2. it's a pen оба варианта верные или второй неправильный?

"Вот ручка" или "это ручка", например...

this is a pen - делает акцент на слове это, т. е. именно это ручка, а то, что рядом - уже карандаш.
it is a pen - делает акцент на слове ручка, т. е. не маркер, и не карандаш.

it - рядовое слово, не имеющее в себе особой силы.
this - выделительное слово - вот это, в противоположность вон тому.

Слово this может стоять и перед существительным, а it так не может:
This is a good pen. - This pen is good.
It is a good pen. - It pen (не верно) is good.
Примечание: подходит для выражений It's yours/hers/theirs...
http://1way-to-english.livejournal.com/7425.html

this-указательное местоимение, показьiваете-this.

Оба варианти граматически правильные

Если указываете на ручку, то только 1-й вариант верный, 2-й используется, когда нет указательного жеста.