Giả sử x khác y.
Đặt [tex]A=x^2+y^2+2x+2y(x-1)[/tex]
Ta có:[tex]A=(x+y)^2+2(x-y)[/tex]
Với x - y lẻ thì A sẽ chia 4 dư 2 hoặc 3, không là số chính phương. Vậy x - y chẵn.
Đặt y - x = 2a(a khác 0), ta có: [tex]A=x^2+(x+2a)^2+2x+2(x+2a)(x-1)=4(x+a)^2-4a\Rightarrow \frac{A}{4}=(x+a)^2-a[/tex]
Vì A là số chính phương nên A/4 cũng là số chính phương.
Đặt [tex]\frac{A}{4}=b^2(b>0)[/tex]
[tex]\Rightarrow (b-x-a)(b+x+a)=a[/tex]
Nhận thấy nếu a khác 0 thì a có ước b+x+a lớn hơn a(vô lý)
Vậy a = 0 hay x = y.