解:设直线l:ax+y=1上任意点M(x,y)在矩阵A对应的变换作用下的像是M'(x',y')。
由,得
又点M'(x',y')在l'上,所以x'+by'=1,即x+(b+2)y=1,
依题意得解得
解:由,得