Стоит сразу всю грамматику английского учить?

Естественно, все времена группы present, past и future + основные конструкции, типа relative clause, conditionals (0-3) и т.д
Ну и лексику конечно же :)
Для спокойного ведения беседы хватит с лихвой.
Удачи в освоении языка, все не так тяжело, как кажется. Главное - практика