На работе, остался ненадолго с начальником наедине, шли вместе в отдел кадров, он молчал и я тоже, было неловко

Должен ли был я что-то говорить? Было ощущения что я как ребёнок рядом с ним иду. Не серьёзно молчать в таких ситуациях?