Vì [tex]a\leq b\leq c[/tex] nên:
[tex]c(b-a)(c-b)\geq 0 \Leftrightarrow b^2c+c^2a\leq abc+c^2b\Leftrightarrow a^2b+b^2c+c^2a\leq abc+a^2b+c^2b[/tex]
Mà[tex]abc<2abc[/tex] nên:[tex]M\leq 2abc+a^2b+c^2b=b(a+c)^2[/tex]
Lại có: [tex]b(a+c)^2[/tex] = [tex]4b.\frac{a+c}{2}.\frac{a+c}{2}\leq 4.\left [ b+\frac{a+c}{2}+\frac{a+c}{2} \right ]^3.\frac{1}{27}=\frac{4(a+b+c)^3}{27}=4[/tex]
Vậy GTLN của M=4 xảy ra khi a = 2; b = 0; c = 1 và các hoán vị