Проблемы начнутся, когда первичный ключ перестанет помещаться в отведённую память а хранить просто так можно хоть террабайты. Тормозят конкретные операции
Это зависит от характера запросов, от наличия индексов, от соответствия индексов запросам и т. д., и т. п. Проектирование БД - это отдельная область знаний.