【答案解析】解 因A是实对称矩阵，故(AP)^TAP=P^TA²P，其中
   
   求可逆矩阵P，使(AP)^TAP为对角矩阵，即相当于对A²作合同变换，使之对角化．可求出A²的特征值、特征向量，再把A²的特征向量正交单位化后，以其为列组成的矩阵即为所求．但这样做比较烦琐，故考虑借助二次型求解．
   考虑二次型
   x^TA²x=4x₁²+4x₂²+5x₃²+5x₄²+8x₃x₄，
   用配方法将它化为标准形，得
   
   令
   
   则由线性变换
   
   有
   故令，则|P|≠0，此时