【正确答案】(1)由方程组的系数行列式△=a(a+1)(a-3)=0，a的取值范围为：0，-1，3，再由矩阵A正定，得a=3；
(2)可求得A的最大特征值为10，设对应的单位特征向量为ξ(即Aξ=10ξ，且ξ^Tξ=1)．对二次型X^TAx，存在正交变换X=Py，使X^TAXλ₁y₁²+λ₂y₂²+λ₃y₃²≤10(y₁²+y₂²+y₃²)，当X^TX=Y^TY=y₁²
+y₂²+y₃²=2时，有X^TAX≤10×2=20．又X₀=满足X₀^TX₀=2，且X₀^TAX₀==2ξ^T(Aξ)
=2ξ^T(10ξ)=20(ξ^Tξ)=20，综上可知