Можно ли зажечь спичку под водой?

Нет.
И не потому, что нет кислорода для горения. В головке есть свой окислитель. Кислород нужен только для горения самой спички, головка загорится и без него.
Во первых. вода растворит компоненты головки, те в растворе не воспламеняются
Во вторых, у воды большая теплоемкость и теплопроводность, а энергия выделяемая этой реакцией недостаточна что бы покрыть то, что заберет вода при том себя поддерживая. Или близко к нестойкому равновесию. ( состав головок бывает разный)
Даже если чем от воды непосредственно защитите и спичку и коробок, например парафином, то максимум получите маленькую искру.

В прочем есть разные спички и головки делают из разных веществ. есть с большей теплоотдачей, те удастся зажечь. но только головку ее защитив от растворения. Получится такой пузырек с дымом и паром. И все.

Наконец есть специальные спички. те станут гореть и под водой. Они горят очень ярко и выделяют много тепла.
Всего раз такие в руках держал. Они длиннее, толще и на спички не очень похожи.

Вот термит ( смесь алюминия с оксидом железа) под водой прекрасно горит. Он при горении очень много тепла выделяет, и окислитель ( оксид железа) там свой. Да и компоненты не растворимы.

Фальшфеер сунутый в кастрюлю не тухнет, только вода закипает. Можно суп варить :)