【正确答案】 D

【答案解析】 《刑事诉讼法》第290条第2款规定：“对罪犯在监狱内犯罪的案件由监狱进行侦查。”因此，乙肯定由A市公安局进行侦查。因为其在脱逃期间的犯罪不是发生在监狱内部，所以不应由监狱进行侦查。按照《刑事诉讼法》第3条的规定，对刑事案件的侦查、拘留、执行逮捕、预审，由公安机关负责。另外，根据《高法解释》第11条第2、3款的规定，罪犯在服刑期间又犯罪的，由服刑地的人民法院管辖。正在服刑的罪犯在脱逃期间的犯罪，由服刑地的人民法院管辖：但是，在犯罪地抓获罪犯并发现其在脱逃期间犯罪的，由犯罪地的人民法院管辖。由此可见甲应由监狱进行侦查。因此答案为D。