Theo đề thì
[tex]y'=3x^2-2(m+1)x+m^2-1\geq 0[/tex] [tex]\forall x \in(1;+\infty)[/tex]
Để vậy thì PT $3x^2-2(m+1)x+m^2-1=0$ phải có 2 nghiệm thỏa $x_1 \leq x_2 \leq 1$ hay:
[tex]\left\{\begin{matrix} \Delta'\geq 0\\3.f(1)\geq 0\\\frac{S}{2}-1\leq 0 \end{matrix}\right. \\ \Leftrightarrow \left\{\begin{matrix} (m+1)^2-3(m^2-1)\geq 0\\3.(m^2-2m)\geq 0\\\frac{2}{3}(m+1)-1\leq 0 \end{matrix}\right. \\ \Leftrightarrow -1\leq m \leq 0[/tex]