как сделать такой эффект без помощи фотошопа?

в программе No crop

вазилин намазать на заднепроходнее отверстие

Фильтру ничего не будет.

Тебе правильно ответили во втором ответе. А все остальные делают это в фотошопе.

целлофан сигаретный

целлофан ...не, фотошоп!... ванильный...

Возьми ушную палочку, намажь маслом и аккуратненько матрицу камеры этим тампоном по периферии протри протри . Эффект возможно даже интереснее будет .
Если тупо линзу вазелином намазать такой глубины эффекта не получишь, - грязь на передней линзе не влияет на качество картинки, если она, конечно не полностью просвет закрывает ...
Так что маж матрицу, да пожирнее ,- И будет те счастье !

бутылки поставить на переднем плане, как можно ближе к объективу

пищевая пленка на объектив и все

Без фотошопа никак.