1. Đầu tiên nhận xét thấy
$$ y+\sqrt{y^2+9} > y+\sqrt{y^2}=y+|y| \ge y+|y| \ge 0 $$
Như vậy theo phương trình đầu tiên có
$$ x y^2 \cdot \left( 1+\sqrt{1+x^2} \right) = 3 \cdot \left( y+\sqrt{9+y^2} \right) > 0 $$
Suy ra $ x \ge 0 $.
Theo phương trình thứ hai , để cho căn có nghĩa thì
$$ x^2y+xy =y \cdot \left( x^2+x \right) \ge 5 \quad{(1)} $$
Từ $ x \ge 0 $ nếu như $y \le 0$ thì
$$ y \cdot \left( x^2+x \right) \le 0 <5 $$
không thỏa $(1)$
Vậy $ y \ge 0$ .
2. Trở lại việc giải bài toán .
Biến đổi tương đương phương trình đầu có được
$$ xy^2 \cdot \sqrt{x^2+1}-3 \cdot \sqrt{y^2+9}+ y \cdot \left( xy-3 \right) =0 $$
Tương đương với
$$ \frac{x^4y^4+x^2y^4-9y^2-81}{xy^2 \cdot \sqrt{x^2+1}+3 \cdot \sqrt{y^2+9}}+ y \cdot \left( xy-3 \right) =0 $$
Hay là
$$ \frac{\left( x^4y^4-81 \right) +y^2 \cdot \left( x^2y^2-9 \right)}{xy^2 \cdot \sqrt{x^2+1}+3 \cdot \sqrt{y^2+9}}+ y \cdot \left( xy-3 \right) =0 $$
Hay
$$ \left( xy- 3 \right) \cdot \left( y+\frac{\left( 3+xy \right) \cdot \left( y^2+x^2y^2+9 \right)}{xy^2 \cdot \sqrt{x^2+1}+3 \cdot \sqrt{y^2+9}} \right) =0 $$
Theo nhận xét ban đầu thì $x \ge 0 \ ; \ y>0$ nên
$$ y+\frac{\left( 3+xy \right) \cdot \left( y^2+x^2y^2+9 \right)}{xy^2 \cdot \sqrt{x^2+1}+3 \cdot \sqrt{y^2+9}} >0$$
Vậy suy ra $xy=3$ .
Lúc đó phương trình thứ hai của hệ trở thành
$$ \left( 3x-1 \right) \cdot \sqrt{3x-2} = 4x^3-9x^2+7x \quad{(2)}$$
Điều kiện để $(2)$ có nghĩa là $ x \ge \frac{2}{3}$ .
Bình phương hai vế của $(2)$ thu được
$$ \left(3x-1 \right)^2 \cdot \left( 3x-2 \right) =x^2 \cdot \left( 4x^2-9x+7 \right)^2 $$
Ta có
$$ \left(3x-1 \right)^2 \cdot \left( 3x-2 \right) -x^2 \cdot \left( 4x^2-9x+7 \right)^2=- \left( x-1 \right) \cdot \left( x-2 \right) \cdot \left( 16x^4-24x^3+33x^2-6x+1 \right) = 0 $$
Đặt $ x=a+\frac{2}{3} \ ; \ a \ge 0 $ .
Lúc đó
$$ 16x^4-24x^3+33x^2-6x+1=\frac {625}{81}+16a^{4}+\frac {56a^3}{3}+{\frac {83a^2}{3}}+{\frac {674a}{27}} > 0$$
Vậy $ x=1$ hoặc $x=2$ .
Suy ra hệ có nghiệm
$$ \left(x,y \right)=\left(1,3 \right) \ \text{hoặc} \ \left(2, \frac{3}{2} \right)$$
Thử lại thấy thỏa mãn .