AB nhỏ nhất khi khoảng cách từ I là tâm của mặt cầu (S) đến AB lớn nhất
$\overrightarrow{IM}=(1;1;2)$
Do $ \Delta $ thuộc (P) nên $u_{\Delta }\perp n_{P}$
Suy ra: $1+a+b=0\Leftrightarrow b=-1-a$
Khoảng cách từ I đến đường thăng AB là :
$d(I,\Delta )=\frac{|[\overrightarrow{u_{\Delta}},\overrightarrow{IM}]|}{|\overrightarrow{u_{\Delta}}|}$
Có : $[\overrightarrow{u_{\Delta}},\overrightarrow{IM}]=(2a-b;b-2;1-a)$
Thay vào trên ta có:
$d(I,AB)=\frac{\sqrt{(2a-b)^{2}+(b-2)^{2}+(1-a)^{2}}}{\sqrt{a^{2}+b^{2}+1}}$
Mà : $b=-1-a$. Thế b vào và khỏa sát hàm ta được :$a=-1 , b=0$