стоит ли мне быть с этим человеком? или не терять с ним время?

да, стоит. отношения будут стремительными, бурными, с большим количеством недовольств и ссор со стороны обоих людей.