[tex](f(x^{2}-2x-m))'=(2x-2)f'(x^{2}-2x-m)=0 \Leftrightarrow \left\{\begin{matrix} 2x-2=0 & \\ f'(x^{2}-2x-m)=0 & \end{matrix}\right. \Leftrightarrow x=1[/tex] hoặc [tex]\left\{\begin{matrix} x^{2}-2x-m=-2 (*)& \\ x^{2}-2x-m=1(**)& \end{matrix}\right.[/tex]
Để hàm số có 5 điểm cực trị thì [tex](*),(**)[/tex] có 2 nghiệm phân biệt và [tex]x1\neq x3,x4[/tex] và [tex]x2\neq x3,x4[/tex] ( trong đó x1,x2 là nghiệm của pt (*),x3,x4 là nghiệm của pt (**)
[tex]\Rightarrow \left\{\begin{matrix} x^{2}-2x-m+2=0& \\ x^{2}-2x-m-1=0 & \end{matrix}\right.\Leftrightarrow \left\{\begin{matrix} \triangle '=1+m-2> 0 & \\ \triangle '=1+m+1> 0 & \end{matrix}\right.\Leftrightarrow \left\{\begin{matrix} m> 1 & \\ m> -2 & \end{matrix}\right.\Rightarrow m> 1\xrightarrow[m\epsilon \mathbb{Z}]{m\epsilon \left [ -5,5 \right ]}m=\left \{ 2,3,4,5 \right \}[/tex]