【正确答案】利用两矩阵相似的必要条件tr(A)=tr(B)及∣A∣=∣B∣，求得a，b．
因A与B相似，故tr(A)=tr(B)，即0+3+a=1+b+l，亦即
3+a=2+6， ①
又由∣A∣=

【正确答案】先求出B的特征值即得A的特征值，再求出A的线性无关的特征向量，以此为列向量，即可求得可逆矩阵P使P^-1AP为对角矩阵．
由∣λE—B∣==(λ一1)²(λ一5)=0，得到B的特征值为λ₁=λ₂=1，λ₃=5．因A与B相似，故A的特征值也为λ₁=λ₂=1，λ₃=5．
下求A的属于特征值的特征向量．将λ₁=λ₂=1代入(λE—A)X=0得(E—A)X=0，
由E—A=及基础解系的简便求法即得属于λ₁=λ₂=1的线性无关的特征向量：α₁=[2，1，0]^T，α₂=[一3，0，1]^T．
解(λ₃E一A)X=0，即解(5E—A)X=0，由5E—A=，及基础解系的简便求法得到A的属于特征值λ₃=5的特征向量：α₃=[一1，一1，1]^T．
易验证α₁，α₂，α₃线性无关，因而A与对角阵相似．令P=[α₁，α₂，α₃]，则易验证有
P^-1AP=