Алгебра.

1) 2(cos3x)^2+sin3x-1=0;
...2(1-(sin3x)^2)+sin3x-1=0;
...2(sin3x)^2-sin3x-1=0;
...sin3x=1 или sin3x=-1/2;
...3x=p/2+2pk или 3x=(-1)^(k+1)*p/6+pk, где k - целое.
Ответ: {p/6+2pk/3, (-1)^(k+1)*p/18+pk/3 | k - целое}

2) 1+2(cosx)^2+2^1.5*sinx+cos2x=0;
....1+2-2(sinx)^2+2^1.5*sinx+1-2(sinx)^2=0;
....2^0.5(sinx)^2-sinx-2^0.5=0;
D=1+4(2^0.5)^2=1+8=9
sinx=(1+3)/2^1.5 или sinx=(1-3)/2^1.5;
sinx=2^0.5>1 (значит, корня нет) или sinx=-1/2^0.5;
x=(-1)^(k+1)*p/4+pk, где k - целое.
Ответ: {(-1)^(k+1)*p/4+pk | k - целое}