Создание нового bitmap Требует много оперативной памяти C#

Чтобы память освободилась "с Вашей подсказкой" используйте using, а так сборщик мусора её освободит сам.

Но сдаётся мне основная проблема не в этом а во внутреннем цикле while(test5==false). У Вас внутренний цикл суммарно тормозит поток на 3 секунды. Если на каждый пиксель тратить 3 секунды, то при изображении 815x157 это займет более месяца =). При этом ещё делаете Sleep потоку формы => форма просто перестаёт обрабатывать события (щелки, перерисовку, изменение размеров и т. д.) на ВСЁ это время.

Что делать -
нормальный алгоритм проверки
поиск убирать в поток, Sleep убрать из внутреннего цикла.
(в _крайнем_ случае Application.DoEvents() в цикле)