行政审计机关实行垂直管理体制，只由其上一级行政审计机关领导。

【正确答案】 错误

【答案解析】 行政审计机关实行双重领导体制。根据《审计法》第9条的规定，地方各级审计机关对本级人民政府和上一级审计机关负责并报告工作，审计业务以上级审计机关领导为主。