Từ giả thiết đề bài có
$$ \left( x^2-y^2-2x+2y+3 \right) -\frac{3 \left( y^2-2xy+2x+4 \right)}{5}=\frac{ \left( x+2y-3 \right) \left(5x-4y-1 \right) }{5}=0 $$
Xét hai khả năng có thể xảy ra
1/ Nếu $ \displaystyle x+2y-3=0 $. Lúc đó $ \displaystyle y=\frac{3-x}{2} $.
Từ phương trình thứ hai có
$$ \left( \frac{3-x}{2} \right)^2-2x \left( \frac{3-x}{2} \right)+2x+4=\frac{5 \left( \left(x-1 \right)^2+4 \right)}{4} > 0 $$
Trong trường hợp này thì hệ không có nghiệm .
2/ Nếu $ \displaystyle 5x-4y-1=0 $. Lúc đó $ \displaystyle y=\frac{5x-1}{4} $.
Từ phương trình thứ hai có
$$ \left( \frac{5x-1}{4} \right)^2-2x \left( \frac{5x-1}{4} \right)+2x+4=-\frac{15 \left( x^2-2x-\frac{13}{3} \right)}{16} = 0 $$
Trong trường hợp này thì hệ có nghiệm là
$$ \left(x,y \right)=\left(\frac{3-4\sqrt{3}}{3},\frac{3-5\sqrt{3}}{3} \right) \ ; \ \left(\frac{3+4\sqrt{3}}{3},\frac{3+5\sqrt{3}}{3} \right) $$
Tổng kết lại thì hệ đã cho có nghiệm là
$$ \left(x,y \right)=\left(\frac{3-4\sqrt{3}}{3},\frac{3-5\sqrt{3}}{3} \right) \ ; \ \left(\frac{3+4\sqrt{3}}{3},\frac{3+5\sqrt{3}}{3} \right) $$