Một cách làm tương tự khác sử dụng lượng giác hóa
Đặt $x = \sin \alpha, y = \cos \alpha$
Khi đó:
$P = \dfrac{2 - 2 \sin \alpha \cos \alpha + \cos^2 \alpha}{4 \sin^2 \alpha - 3 \sin \alpha \cos \alpha + \cos^2 \alpha}$
Chia cả tử và mẫu cho $\cos^2 \alpha$ ta được:
$P = \dfrac{2(\tan^2 \alpha + 1) - 2 \tan \alpha + 1}{4 \tan^2 \alpha - 3 \tan \alpha + 1}$
$= \dfrac{2\tan^2 \alpha - 2 \tan \alpha + 3}{4 \tan^2 \alpha - 3 \tan \alpha + 1}$
Đặt $t = \tan \alpha \implies P = \dfrac{2t^2 - 2t + 3}{4t^2 - 3t + 1}$
Ta có:
$1) P \leq M \,\, , \forall t \in R$
$\implies \dfrac{2t^2 - 2t + 3}{4t^2 - 3t + 1} \leq M \,\, , \forall t \in R$
$\implies \dfrac{2t^2 - 2t + 3}{4t^2 - 3t + 1} - M \leq 0 \,\, , \forall t \in R$
$\implies \dfrac{2t^2 - 2t + 3 - M(4t^2 - 3t + 1)}{4t^2 - 3t + 1} \leq 0 \,\, , \forall t \in R$ $(1)$
Do $4t^2 - 3t + 1 > 0$ với $\forall t \in R$ nên:
$(1) \implies 2t^2 - 2t + 3 - M(4t^2 - 3t + 1) \leq 0 \,\, , \forall t \in R$
$\implies (2-4M)t^2 + (3M-2)t + 3 - M \leq 0 \,\, , \forall t \in R$
Để bất phương trình trên đúng với $\forall t \in R$
$\implies \left\{\begin{matrix} a = 2 - 4M < 0& \quad \\ \Delta = (3M-2)^2 - 4(2-4M)(3-M) = 0 & \quad \end{matrix}\right.$
$\implies \left\{\begin{matrix} M > \frac{1}{2}& \quad \\ -7M^2 + 44M - 20 = 0 & \quad \end{matrix}\right.$
$\implies \left\{\begin{matrix} M > \frac{1}{2}& \quad \\ t = \dfrac{22 \pm 2\sqrt{86}}{7} & \quad \end{matrix}\right.$
$\implies M = \dfrac{22 + 2\sqrt{86}}{7}$
$2) P \leq M \,\, , \forall t \in R$
Giải tương tự như trên, nhưng để bất phương trình đúng với $\forall t \in R$ thì điều kiện là $a > 0$ và $\Delta = 0$
Giải ra ta được $m = \dfrac{22 - 2\sqrt{86}}{7}$
Vậy $M^2 + m^2 = \dfrac{1656}{49}$
Chọn $B$