Áp dụng Cauchy Schwarz
$A=\dfrac{a^2}{b-1}+\dfrac{b^2}{a-1} \ge \dfrac{(a+b)^2}{a+b-2}$
Lại có
$\dfrac{(a+b)^2}{a+b-2}=a+b+2+\dfrac{4}{a+b-2}$
Áp dụng Cauchy
$a+b-2+\dfrac{4}{a+b-2} \ge 4$
$\Leftrightarrow a+b+2+\dfrac{4}{a+b-2} \ge 8$
$\Leftrightarrow \dfrac{(a+b)^2}{a+b-2} \ge 8$
$\Rightarrow A \ge 8$
Vậy, $min(A)=8 \Leftrightarrow a=b=2$