Nhìn vào đoán hướng làm là đặt $t$ rút gọn thành tam thức bậc 2... (lớp 10 thì chỉ có vậy thôi

)
Đặt $t = \sqrt{x + 1} + \sqrt{x - 3}$. Điều kiện: $t \geqslant 0$ là đủ! (khi $x$ rất lớn thì $t$ cũng rất lớn nên không cần tìm điều kiện đầu trên)
$\implies t^2 = 2x - 2 + 2\sqrt{x^2 - 2x - 3}$
$\implies 2t^2 + 4 = 4(x + \sqrt{x^2 - 2x - 3})$
Như vậy hàm số ban đầu $y = t - (2t^2 + 4) = -2t^2 + t - 4$
Tới đây, phương pháp làm cho các dạng tam thức bậc 2 ở lớp 10 là tách hằng đẳng thức rồi đi từ điều kiện:
$y = -2(t - \dfrac14)^2 - \dfrac{31}8$
Có $t \geqslant 0$
$\implies t - \dfrac14 \geqslant -\dfrac14$
$\implies (t - \dfrac14)^2 \geqslant 0$
$\implies y \leqslant -\dfrac{31}8$
Vậy nên GTLN của $y$ là $-\dfrac{31}8$ khi và chỉ khi $t = \dfrac14 \implies x = \ldots$. Em tự giải và tìm $x$ nhé