Что такое плагин и что такое утилита? Какая разница между ними?

плагин - подключаемый модуль.
утилита - отдельное приложение.

Плагин = Plugin = plug-in т. е. подключается к чему-то. Является модулем, расширением для программы. Само по себе не работает.
Утилита - приложение выполняющее какое-либо одно определенное действие

Плагин ставится дополнением к какой либо программе для расширения/дополнения ее возможностей.
Утилита самостоятельная программа.

Плагин - это да, дополнение расширяющее возможности конкретной проги. А утилитами чаще всего называют проги, работающие непосредственно над виндой или совместно с нею. Например проги работающие с графикой, видео, звуком и так далее - называют приложениями.