Không mất tính tổng quát giả sử [tex]x\geq y\geq z[/tex]. Khi đó [tex]M=2(x^3-z^3)=2(x-z)(x^2+z^2+xz)=(x-z)(2x^2+2z^2+2xz)[/tex]
Lại có: [tex]8=x^2+y^2+z^2\geq x^2+z^2\Rightarrow (x-z)(2x^2+2z^2+2xz)\leq (x-z)(16+2xz)=2(x-z)\sqrt{8+xz}.\sqrt{8+xz}[/tex]
Ta sẽ đi chứng minh 1 BĐT phụ. Theo BĐT Cauchy ta có:
[tex]a^2+b^2+c^2\geq \frac{1}{3}(a+b+c)^2\geq \frac{1}{3}.(3\sqrt[3]{abc})^2=3(\sqrt[3]{abc})^2\Rightarrow (\sqrt[3]{abc})^2\leq \frac{a^2+b^2+c^2}{3}\Rightarrow \sqrt[3]{abc}\leq \sqrt{\frac{a^2+b^2+c^2}{3}}\Rightarrow abc\leq (\sqrt{\frac{a^2+b^2+c^2}{3}})^3[/tex]
Áp dụng BĐT trên cho [tex]a=x-z,b=c=\sqrt{8+xz}[/tex] ta có:
[tex](x-z)\sqrt{8+xz}.\sqrt{8+xz}\leq (\sqrt{\frac{x^2-2xz+z^2+8+zx+8+zx}{3}})^3=(\sqrt{\frac{x^2+z^2+16}{3}})^3\leq (\sqrt{8})^3=16\sqrt{2}[/tex]
Dấu "=" xảy ra khi [tex]\left\{\begin{matrix} y=0\\ x\geq y\geq z\\ x-z=\sqrt{8+zx}\\ x^2+y^2+z^2=8 \end{matrix}\right.\Rightarrow \left\{\begin{matrix} x=2\sqrt{2}\\ y=0\\ z=0 \end{matrix}\right. hoặc \left\{\begin{matrix} x=0\\ y=0\\ z=-2\sqrt{2} \end{matrix}\right.[/tex]