Ta có $a;b;c$ là độ dài $3$ cạnh của một tam giác
và $a+b+c=6$
$\Rightarrow a;b;c < 3$
$\Rightarrow (a-3)(b-3)(c-3) < 0$
$\Leftrightarrow abc-3ab-3ac-3bc+9a+9b+9c-27 < 0$
$\Leftrightarrow abc-3ab-3ac-3bc < -27$
$\Leftrightarrow 2abc-6ab-6ac-6bc < -54$
$\Leftrightarrow 3(a^2+b^2+c^2)+2abc < -54+3(a+b+c)^2 = 54$
Áp dụng bất đẳng thức Cauchy cho $3$ số không âm, ta có
$3-a+3-b+3-c \ge 3\sqrt[3]{(3-a)(3-b)(3-c)}$
$\Leftrightarrow 1 \ge (3-a)(3-b)(3-c)$
$\Leftrightarrow -abc+3ab+3ac+3bc \le 28$
$\Leftrightarrow -2abc+6ab+6ac+6bc \le 56$
$\Leftrightarrow 52=3(a+b+c)^2-56 \le 3(a^2+b^2+c^2)+2abc$
Dấu $"="$ xảy ra khi $a=b=c=2$