阜南认为，智力的结构是按层次排列的。最高层次是一般因素(G)；第二层次包括两部分，即言语和教育方面的因素、操作和机械方面的因素，这一层是大因素群；第三层是小因素群，包括言语、数量、机械、信息、空间信息、用手操作等；第四层为特殊因素(S)，即各种特殊能力。阜南的能力层次结构理论像生物分类学的分类系统那样来设想能力的结构。