[tex](a+\sqrt{1+b^2})(b+\sqrt{1+a^2})=1[/tex]
[tex]\Leftrightarrow (a^2-1-b^2)(b^2-1-a^2)=(a-\sqrt{1+b^2})(b-\sqrt{1+a^2})[/tex]
[tex]\Leftrightarrow (-1)^2-(a^2-b^2)^2=ab-a\sqrt{1+a^2}-b\sqrt{1+b^2}+\sqrt{(1+a^2)(1+b^2)}[/tex]
[tex]\Leftrightarrow 1-(a^2-b^2)^2=-(ab+a\sqrt{1+a^2}+b\sqrt{1+b^2}+\sqrt{(1+a^2)(1+b^2)})+2ab+2\sqrt{(1+a^2)(1+b^2)}[/tex]
[tex]\Leftrightarrow 1-(a^2-b^2)^2=-(a+\sqrt{1+b^2})(b+\sqrt{1+a^2})+2ab+2\sqrt{(1+a^2)(1+b^2)}[/tex]
[tex]\Leftrightarrow 1-(a^2-b^2)^2=-1+2ab+2\sqrt{(1+a^2)(1+b^2)}[/tex]
[tex]\Leftrightarrow (a^2-b^2)^2=2-2ab-2\sqrt{(1+a^2)(1+b^2)}[/tex]
Ta có: [tex]VP=2-2ab-2\sqrt{1+a^2+b^2+a^2b^2}=2-2ab-2\sqrt{(1-ab)^2+(a+b)^2}[/tex]
Do [tex](a+b)^2 \geq 0[/tex] nên [tex]VP \leq 2-2ab-2\sqrt{(1-ab)^2}=2-2ab-2|1-ab| \leq 2-2ab-2(1-ab)=0[/tex]
Lại có [tex]VT=(a^2-b^2)^2 \geq 0[/tex]
Dấu "=" xảy ra khi [tex]a+b=0[/tex]
[tex]S=(a+b)(a^2-ab+b^2)(...)+320=320[/tex]