từ $(1)$ suy ra
$x-y+3\sqrt{(x-y)(y+1)}=4(y+1)$
đặt $a=\sqrt{x-y}$ và $b=\sqrt{y+1}$
pt trở thành $a^2+3ab-4b^2=0 \longleftrightarrow a^2-ab+4ab-4b^2=0 \longleftrightarrow (a-b)(4a+b)=0$
do đó $a=b$ hay $\sqrt{x-y}=\sqrt{y+1} \longrightarrow x-1=2y$
thế vào pt $(2)$ ta được
$\sqrt{4y^2-2y-3}=2y-\sqrt{y-1}$
bình phương $2$ vế được $3y+2=4y\sqrt{y-1}$
tiếp tục bình phương được $16y^3-25y^2-12y-4=0
\longleftrightarrow (y-2)(16y^2+7y+2)=0 $