【正确答案】由于AB=0,故r(A)+r(B)≤3,又由a,b,c不全为零,可知r(A)≥1.
当k≠9时,r(B)=2,于是r(A)=1;
当k=9时,r(B)=1,于是r(A)=1或r(A)=2.
对于k≠9,由AB=O可得

由于η
1=(1,2,3)
T,η
2=(3,6,k)
T线性无关,故η
1,η
2为Ax=0的一个基础解系,于是Ax=0的通解为
x=c
1η
1+c
2η
2,其中c
1,c
2为任意常数.
对于k=9,分别就r(A)=2和r(A)=1进行讨论.
如果r(A)=2,则Ax=0的基础解系由一个向量构成.又因为
