Biến đổi tương đương ta có:
[tex]a^3+b^3=a^2b^2(ab-3)\Leftrightarrow a^3+b^3-a^3b^3-+3a^2b^2=0\Leftrightarrow (a+b-ab)(a^2b^2+a^2b+a^2+ab^2-ab+b^2)=0[/tex]
+ Nếu [tex]a+b-ab=0\Rightarrow P=0[/tex]
+ Nếu [tex]a^2b^2+a^2b+a^2+ab^2-ab+b^2=0\Rightarrow \frac{1}{2}a^2(b+1)^2+\frac{1}{2}b^2(a+1)^2+\frac{1}{2}(a-b)^2=0\Leftrightarrow \left\{\begin{matrix} \frac{1}{2}a^2(b+1)^2=0\\ \frac{1}{2}b^2(a+1)^2=0\\ \frac{1}{2}(a-b)^2=0 \end{matrix}\right.\Leftrightarrow \left\{\begin{matrix} a=0 hoặc b=-1\\ a=-1 hoặc b=0\\ a=b \end{matrix}\right.\Rightarrow a=b=0 hoặc a=b=-1[/tex]
* Với [tex]a=b=0 \Rightarrow P=0[/tex]
* Với [tex]a=b=-1\Rightarrow P=-3[/tex]