本题考查行政执法依据。

根据《公安机关办理行政案件程序规定》第十七条规定：“公安机关负责人、办案人民警察有下列情形之一的，应当自行提出回避申请，案件当事人及其法定代理人有权要求他们回避：（一）是本案的当事人或者当事人近亲属的；（二）本人或者其近亲属与本案有利害关系的；（三）与本案当事人有其他关系，可能影响案件公正处理的。”

A项正确，打人者是小李的弟弟，是当事人的近亲属，小李应当回避。

B项正确，被打人者是小李的姐姐，是当事人的近亲属，小李应当回避。

C项错误，打人者是小李的同学，属于与当事人有其他关系，但题目中没有涉及可能影响案件公正处理的表述，因此，小李不是应当回避。

D项错误，被打者是外地的法官，与小李无关系，不符合应当回避的情形。

故正确答案为AB。