根据《中华人民共和国银行业监督管理法》第34条的规定，进行现场检查，应当经银行业监督管理机构负责人批准，现场检查时，检查人员不得少于两人，并应当出示合法证件和检查通知书。所以，选项A、B、C的叙述均是正确的。进行现场检查时，检查人员少于两人或者未出示合法证件和检查通知书的，银行业金融机构有权拒绝检查。所以，选项D是不正确的。