@Mộc Nhãn Mình thấy bạn sai rồi, cách đó không ra đâu. Nhưng bài này có thể đổi biến mà nhỉ.
Đặt [TEX](a;b;c)=(x+1;y+1;z+1)[/TEX] thì [TEX]0\leq x,y,z\leq 2[/TEX] và [TEX]x+y+z=3[/TEX]. Ta có [TEX]P=(x+1)^2+(y+1)^2+(z+1)^2=x^2+y^2+z^2+2.3+3=x^2+y^2+z^2+9[/TEX].
Bài này trở thành bài toán quen thuộc rồi.
KMTTQ, giả sử trong 3 số có 1 số không nhỏ hơn 1 là [TEX][/TEX]z.
Ta có: [TEX]P\leq (x+y)^2+z^2+9=(3-z)^2+z^2+9=2(z-1)(z-2)+14\leq 14[/TEX] vì [TEX]1\leq z\leq 2[/TEX].
Dấu bằng xảy ra khi chẳng hạn [TEX]x=0,y=1,z=2[/TEX] hay [TEX]a=1,b=2,c=3[/TEX].
Vậy GTLN của P là 14.