【正确答案】(1)由AB+B=O得(E+A)B=O，从而r(E+A)+r(B)≤3，
因为r(B)=2，所以r(E+A)≤1，从而λ=-1为A的特征值且不低于2重，
显然λ=-1不可能为三重特征值，则A的特征值为λ₁=λ₂=-1，λ₃=5．
由(E+A)B=o得B的列组为(E+A)X=0的解，
故α₁=，α₂=为λ₁=λ₂=-1对应的线性无关解．
令α₃=为λ₃=5对应的特征向量，
因为A^T=A，所以

令β₁=，β₂=α₂-，正交化得

令Q=(γ₁，γ₂，γ₃)，则f=X^TAX-y₁²-y₂²+5y₃²．
(2)由