[tex]x^{3}-2x^{2}+(1-m)x+m=0\\\Leftrightarrow x^3-2x^2+x-mx+m=0\\\Leftrightarrow x(x-1)^2-m(x-1)=0\\\Leftrightarrow (x-1)(x^2-x-m)=0[/tex]
Để PT có 3 nghiệm phân biệt thì $x^2-x-m=0$ (1) có 2 nghiệm phân biệt khác 1 hay:
[tex]\left\{\begin{matrix} & \Delta >0 & \\ & f(1) \neq 0 & \end{matrix}\right. \\\Leftrightarrow \left\{\begin{matrix} &1+4m>0 & \\ & -m\neq 0 & \end{matrix}\right.[/tex]
$\\\Leftrightarrow \left\{\begin{matrix} &m>\frac{-1}{4} & \\ &m\neq 0 & \end{matrix}\right.$
Cho $x_1=1$ thì $x_2;x_3$ là nghiệm của PT (1) Theo định lí Viète:
[tex]\left\{\begin{matrix} &x_2+x_3=1 & \\ & x_2.x_3=-m& \end{matrix}\right.[/tex]
Có: [tex]x_{1}^{2}+x_{2}^{2}+x_{3}^{2}<4\\\Leftrightarrow 1+(x_2+x_3)^2-2x_2x_3<4\\\Leftrightarrow 1+1+2m<4\\\Leftrightarrow m<1[/tex]
Vậy tập hợp các giá trị m thỏa đề: $
\left\{\begin{matrix}
& \frac{-1}{4}<m<1 & \\
& m \neq 0 &
\end{matrix}\right.
$