m.cos3x + sinx.sin2x - cosx =0
$mcos3x+sinxsin2x-cosx=0$ $(1)$ $\Leftrightarrow mcos3x+2sin^{2}xcosx-cosx=0 \Leftrightarrow m(4cos^{3}x-3cosx)+2(1-cos^{2}x)cosx-cosx=0$
$\Leftrightarrow 4mcos^{3}x-3mcosx+2cosx-2cos^{3}x-cosx=0 \Leftrightarrow (4m-2)cos^{3}x=(3m-1)cosx$
Khi $cosx=0 \Leftrightarrow x=\frac{\pi}{2}+k\pi$ $(k \in \mathbb{Z})$
Khi $cosx \neq 0 \Leftrightarrow x \neq \frac{\pi}{2}+k\pi$ $(k \in \mathbb{Z})$ $:$ $(1) \Leftrightarrow (4m-2)cos^{2}x=3m-1$
Nếu $m=\frac{1}{2}$ thì $(1) \Leftrightarrow (4.\frac{1}{2}-2)cos^{2}x=3.\frac{1}{2}-1 \Leftrightarrow 0=\frac{1}{2}$ $($sai$)$ $\Rightarrow$ phương trình $(1)$ vô nghiệm
Nếu $m \neq \frac{1}{2}$ $(*)$ thì $(1) \Leftrightarrow cos^{2}x=\frac{3m-1}{4m-2}$
$TH1$ $:$ $\frac{3m-1}{4m-2} > 1 \Leftrightarrow \frac{3m-1}{4m-2}-1 > 0 \Leftrightarrow \frac{3m-1-4m+2}{4m-2}> 0 \Leftrightarrow \frac{1-m}{4m-2}> 0 \Leftrightarrow \frac{1}{2} < m < 1$$.$
Khi đó $:$ $cos^{2}x >1 \Leftrightarrow \left[\begin{matrix} cosx>1 & \\ cosx<-1 & \end{matrix}\right.$ $($Vô lý do $-1 \leq cosx \leq 1$$)$ $\Rightarrow$ phương trình $(1)$ vô nghiệm
$TH2$ $:$ $0 \leq \frac{3m-1}{4m-2} \leq 1 \Leftrightarrow \left\{\begin{matrix} \frac{3m-1}{4m-2} \geq 0 & \\ \frac{3m-1}{4m-2}-1 \leq 0 & \end{matrix}\right. \Leftrightarrow \left\{\begin{matrix} \frac{3m-1}{4m-2} \geq 0 & \\ \frac{1-m}{4m-2} \leq 0 & \end{matrix}\right. \Leftrightarrow \left\{\begin{matrix} \left[\begin{matrix} m \geq \frac{1}{2} & \\ m \leq \frac{1}{3} & \end{matrix}\right. & \\ \left[\begin{matrix} m \geq 1 & \\ m \leq \frac{1}{2} & \end{matrix}\right. & \end{matrix}\right. \Leftrightarrow \left[\begin{matrix} m \leq \frac{1}{3} & \\ m=\frac{1}{2} & \\ m \geq 1 & \end{matrix}\right.$
Do $(*)$ nên $0 \leq \frac{3m-1}{4m-2} \leq 1 \Leftrightarrow \left[\begin{matrix} m \leq \frac{1}{3} & \\ m \geq 1 & \end{matrix}\right.$$.$ Khi đó $:$
$(1) \Leftrightarrow cosx=\pm \sqrt{\frac{3m-1}{4m-2}}=cos(arccos\pm \sqrt{\frac{3m-1}{4m-2}}) \Leftrightarrow x=\pm arccos( \pm \sqrt{\frac{3m-1}{4m-2}}) +k2\pi$ $(k \in \mathbb{Z})$
Mà $x \neq \frac{\pi}{2}+k\pi$ nên $\pm arccos( \pm \sqrt{\frac{3m-1}{4m-2}}) +k2\pi \neq \frac{\pi}{2}+k\pi \Leftrightarrow cos(arccos \pm \sqrt{\frac{3m-1}{4m-2}}) \neq cos(\frac{\pi}{2}+k\pi) \Leftrightarrow \pm \sqrt{\frac{3m-1}{4m-2}} \neq 0 \Leftrightarrow m \neq \frac{1}{3}$
$TH3$ $:$ $\frac{3m-1}{4m-2} < 0 \Leftrightarrow \frac{1}{3} < m < \frac{1}{2}$$.$ Khi đó $:$ $cos^{2}x < 0 \Rightarrow$ phương trình $(1)$ vô nghiệm
Kết hợp những điều trên$,$ ta có $:$
Khi $\frac{1}{3} \leq m < 1$ thì phương trình $(1)$ có tập nghiệm $S=\{\frac{\pi}{2}+k\pi\}$ $(k \in \mathbb{Z})$
Khi $\left[\begin{matrix} m < \frac{1}{3} & \\ m \geq 1 & \end{matrix}\right.$ thì phương trình có tập nghiệm $S=\{\frac{\pi}{2}+k\pi; \pm arccos( \pm \sqrt{\frac{3m-1}{4m-2}}) +k2\pi\}$ $(k \in \mathbb{Z})$