Mình gợi ý thế này nhé.
Gọi I(x,y) thoả mãn:
$$\overrightarrow{IA}-\overrightarrow{IB}-\overrightarrow{IC}=\overrightarrow{O}$$. Tới đây bạn sẽ tìm ra được I(...).
Ta có:
$$A=MA^2-MB^2-MC^2$$$$=(\overrightarrow{MI}+\overrightarrow{IA})^2-(\overrightarrow{MI}+\overrightarrow{IB})^2-(\overrightarrow{MI}+\overrightarrow{IC})^2$$$$=-MI^2+IA^2-IB^2-IC^2+2.\overrightarrow{MI}(\overrightarrow{IA} - \overrightarrow{IB} - \overrightarrow{IC}). $$$$=-MI^2+IA^2-IB^2-IC^2. $$ Mà $IA^2-IB^2-IC^2=const.$ nên A max khi $MI^2$ min tức là M là hình chiếu vuông góc của I lên (P).
Tới đây bạn tiếp tục nhé.