【正确答案】因为A～B，所以tr(A)＝tr(B)，｜A｜＝｜B｜，即
，解得a＝1，b＝0，则

因为A～B，所以矩阵A，B的特征值都为λ₁＝1，λ₂＝0，λ₃＝6．
当λ＝1时，由(E－A)X＝0，得ξ₁＝
当λ＝0时，由(0E－A)X＝0，得ξ₂
当λ＝6时，由(6E－A)X＝0，得ξ₃＝
再令P＝(γ₁，γ₂，γ₃)＝，
则有P^TAP＝B．