
Gọi $I$, $J$ là trung điểm $AB$, $CD$ thì $IJ \perp AB$ và $IJ \perp CD$. Ngoài ra ta còn có $CD \perp (ABI)$
Dễ thấy $V_{A.BCD} = 2V_{A.BYD} = \dfrac{2}{3} \cdot DI \cdot S_{ABI}$
Tính nào: $BI = \sqrt{1 - \dfrac{1}{4} y^2}$
$IJ = \sqrt{1 - \dfrac{1}{4} y^2 - \dfrac{1}4 x^2}$
Suy ra $V_{A.BCD} = \dfrac{2}{3} \cdot \dfrac12 y \cdot \dfrac12 \cdot \sqrt{1 - \dfrac14 y^2 - \dfrac14 x^2} \cdot x = \dfrac1{12} xy \sqrt{4 - (x^2+y^2)}$
Áp dụng bđt Cô-si ta có $$V \leqslant \dfrac1{12} xy \sqrt{4 - 2xy} = \dfrac1{12} \sqrt{xy \cdot xy \cdot (4 - 2xy)} \leqslant \dfrac1{12} \sqrt{\dfrac{(xy + xy + 4-2xy)^3}{27}} = \dfrac{2\sqrt{3}}{27}$$
Vậy GTLN của $V_{A.BCD}$ là $\dfrac{2\sqrt{3}}{27}$ đạt tại $x = y = \sqrt{xy} = \sqrt{\dfrac{4}{3}}$