Почему молчаливые люди раздражают?

Возможно, потому что Вы сами молчун :)
Парадокс: именно молчунов считают отличными собеседниками, из-за того, что люди могут рядом с ними говорить о себе больше. Человек самолюбивое создание, а разница лишь в степени этого самолюбия. Раздражение может быть вызвано тем, что молчуны могут создавать неловкое молчание, потому что сами не говорят ничего, а их рядом стоящий собеседник хочет именно их послушать.