【正确答案】因为方程组有非零解，所以＝a(a＋1)(a－3)＝0，即a＝－1或
a＝0或a＝3．因为A是正定矩阵，所以a_ii＞0(i＝1，2，3)，所以a＝3．当a＝3时，由
｜λE－A｜＝＝(λ－1)(λ－4)(λ－10)＝0，
得A的特征值为1，4，10．因为A为实对称矩阵，所以存在正交矩阵Q，使得f＝X^TAXy²₁＋4y²₂＋10y²₃≤10(y²₁＋y²₂＋y²₃)，而当｜｜X｜＝时，
y²₁＋y²₂＋y²₃＝Y^TY＝Y^Tq^TQY＝(QY)^T(QY)＝X^TX＝｜｜X ｜｜²＝2， 所以当｜｜X｜｜＝时，X^TAX的最大值为20(最大值20可以取到，如y₁＝y₂＝0，y₃＝