Theo định lý cosin trong tam giác AMB, ( sử dụng luôn MA=MB):
[tex]AB^2=2MA^2-2MA^2.cos(\overrightarrow{MA},\overrightarrow{MB})=2MA^2(1-cos(\overrightarrow{MA},\overrightarrow{MB}))[/tex]
Ta có AB là cố định. Do đó : AMB có số đo lớn nhất thì [TEX]cos(\overrightarrow{MA},\overrightarrow{MB})[/TEX] có GTNN, khi đó (1-[TEX]cos(\overrightarrow{MA},\overrightarrow{MB})[/TEX]) có GTLN, vậy => AM có GTNN
Ta có MA=MB nên M thuộc mp trung trực của AB, đó là mặt (Q): y+z=0
Mà M thuộc (P) nên tập hợp điểm M là giao tuyến d của (P) và (Q), vậy pt tổng quát của d là:
[tex]\left\{\begin{matrix} y+z=0\\ x+2y-z-1=0 \end{matrix}\right.[/tex]
Ta chuyển d về pt tham số để giải: Chọn N và P bất kì thỏa mãn hệ pt trên, viết pt tham số của d qua N và P.
Bây giờ để AM min thi hiển nhiên AM vuông góc với d, tọa độ A đã có, pt tham số của d đã có, dễ dàng tìm ra tọa độ M là hình chiếu của A lên d.