本题考查行政法常识。《行政诉讼法》第二十六条第二款规定：“经复议的案件，复议机关决定维持原行政行为的，作出原行政行为的行政机关和复议机关是共同被告；复议机关改变原行政行为的，复议机关是被告。”

A项错误，公安部作出的行政行为经复议被改变的，复议机关即公安部是被告。

B项正确，甲省公安厅作出的行政行为经复议被改变的，复议机关即甲省人民政府或者公安部是被告。

C项错误，乙市（设区的市）公安局作出的行政行为经复议被改变的，复议机关即乙市人民政府或者乙省公安厅是被告。

D项错误，乙市公安局北区分局作出的行政行为经复议被改变的，复议机关即乙市公安局北区政府或乙市公安局是被告。

故正确答案为B。