3. [TEX]x^2+y^2+z^2<xy+3y+2z-3[/TEX]
[TEX]\Leftrightarrow x^2+y^2+z^2-xy-3y-2z+3<0[/TEX]
[TEX]\Leftrightarrow 4x^2+4y^2+4z^2-4xy-12y-8z+12<0[/TEX]
[TEX]\Leftrightarrow (4x^2-2.2x.y+y^2)+3(y^2-2.2y+4)+4(z^2-2z+1)<4[/TEX]
[TEX]\Leftrightarrow 0 \le (2x-y)^2+3(y-2)^2+4(z-1)^2<4[/TEX].
Nhận thấy số [TEX]4(z-1)^2 < 4[/TEX] thì chỉ có thể [TEX](z-1)^2=0 \Rightarrow z=1[/TEX].
Khi đó [TEX]0 \le (2x-y)^2+3(y-2)^2<4[/TEX].
Xét:
TH1: Nếu [TEX]3(y-2)^2=0 \Rightarrow y=2[/TEX], khi đó [TEX]0 \le (2x-2)^2<4 \Rightarrow 4(x-1)^2<4[/TEX] suy ra [TEX]x=1[/TEX].
TH2: Nếu [TEX]3(y-2)^2=3 \Rightarrow (y-2)^2=1 \Rightarrow y=3[/TEX] hoặc [TEX]y=1[/TEX].
+ Với [TEX]y=3 \Rightarrow (2x-3)^2<4 \Leftrightarrow \left \[ \begin{array} (2x-3)^2=0 \\ (2x-3)^2=1 \end{array} \right. \Leftrightarrow \left \[ \begin{array} x= \frac{3}{2} \quad (\text{loai}) \\ x=2 \; \text{hoac} \; x=1 \end{array} \right.[/TEX]
+ Với [TEX]y=1 \Rightarrow (2x-1)^2<4[/TEX].
Do [TEX]2x-1[/TEX] lẻ nên chỉ có thể [TEX](2x-1)^2=1 \Rightarrow x=1 \; \text{hoac} \; x=0[/TEX].
Kết luận. Có các nghiệm nguyên sau:
[TEX](x,y,z)=(1,2,1),(1,3,1),(2,3,1),(1,1,1),(0,1,1)[/TEX].