摘要:公信力保障是第三方评价机构培育和发展过程中首先需要解决的难题,英国建构了一套集管理、竞争、监督、惩戒于一体的公信力保障机制。成立专门组织管理机构承接管理让渡权并实行严格资格准入、资质动态审查和服务实时监测;积极引入优质服务市场竞争机制,制订公开透明的评价体系并以服务质量和声誉求得生存;建立监督体系,实行上中下位多圈层联动的监督机制;实施失信惩戒措施,建立从信用修复到退出禁入的线性监管约束机制。
培育和发展第三方评价机构是改变长期以来政府主管部门在教育评价领域“既当裁判员又当教练员”的“越位、缺位、错位的现象”,引导“社会参与教育治理和评价”,深入推进“教育管办评分离”,促进政府职能转变,“探索实行社会化考试”的时代需求,也是全面深化教育综合改革的重要议题。但是我们必须注意到,在我国当下教育评价结果与基础教育的发展规划、教育资源的结构配置、行政干部的考核奖惩、校长教师的绩效评估、学生的升学就业以及大学的招生选拔等不同利益群体多元诉求高度耦合,评价结果综合运用的倒逼效应影响重大,教育评价的衍生性指征容易导致不同利益团体的强烈反应,这就对评价体系的可信性提出较高要求。英国第三方评价的公共考试服务同时满足不同利益相关者的多元化需求,如教学反馈诊断、办学绩效考核、升学就业凭证等。受到世界范围内的认可、尊重并成为多国竞相模仿的对象,公众对英国的考试体系充满信心。因此,聚焦英国基础教育第三方评价机构运作体系,揭示其公信力建构保障机制是文章的主要目的。
组织专业管理机构
承接管理让渡权并执行严格资格认证制度
英国政府通过积极培育第三方评价机构,使其承接政府转移的评价职能,并在此基础上进一步让渡管理权,建立专业管理机构全权负责资质审核、评价授权和监督管理职能。通过设置清晰明确的管理规则、发布实用高效的指导方案及运行强有力的认证程序保障第三方评价机构的公信力。
(一)组建第三方评价管理机构承接政府的管理让渡权
在教育评价领域,英国不仅建构了完善的第三方评价体系,而且把第三方评价机构资质审核的审批权、资格准入的授予权、行业服务的监督权、授证市场的风险防控等一系列权力让渡出来,委托给专业的行业组织实施。资格与考试管理办公室(Office of Qualifications and Examinations Regulation,简称Ofqual)作为独立的法定非政府部门,其机构目标、管理权限、承担职责直接由议会设置,机构自身直接对议会负责。第三方评价管理机构的重要职能就在于对其所管辖考试授证机构实施行业监管,保证公共考试服务的客观公正。通过发布《考试资格管理条例》,要求“所有第三方评价机构必须采取合理有效的措施预防舞弊或渎职行为发生,致力于颁发合理有效的资格证书”;通过《考试业务守则与实施规程》,阐明第三方评价机构的权责关系、敦促下辖评价机构制订具体规范的评价操作流程和舞弊、渎职失范行为的预警、甄别、规避、惩戒制度体系。确保资格标准客观、评价标准客观、成绩广泛认可、公众信心十足。政府评价和管理权力的双重让渡不仅把政府从“管评不分”的诟病中解放出来,更为重要的是剥离了利益关涉的独立评价,最大限度地体现出独立、自由、自主和真实的评价做派,为教育行政部门政策的制订和实施提供真实科学的评价和有效的决策反馈。第三方评价公信力建立的前提就是评价主体独立,祛除存在重大利益关涉无法避免的保护性评价,独立于评估对象,也独立于上级评估主体或行政主管部门。
(二)实行严格的资格准入、资质动态审查和服务实时监测
首先,对评价实体机构实行严格资格准入和动态资质审查,依此作为管理机构采取有效监管以保证公信力的重要手段。所有第三方评价机构必须达到并维系资格与考试管理办公室所发布的考试资质审核条件。2010年开始,资格与考试管理办公室每年定期出台第三方评价机构的资格认证标准和认证基本条件,以保证其监管效率和效果。资质认证的基本条件主要包括治理层面的“确保认证的持续性”“利益冲突的避免”“风险识别与防范”“突发事件处理”“舞弊与渎职”等常规性认证条件,还包括“考官的任命”“年度工作汇报”“遵守管理规则”“服从上级安排”“考点的设置与管理”等细节性的日常运转规章制度。通过资质审核后的第三方评价机构并非一劳永逸,而是需要定期汇报机构运转常态性工作。资格与考试管理办公室创办了第三方评价机构管理IT系统(RITS)辅助其监管进程,通过统一的技术平台和数据库为雇主发布最新的认证授权的考试机构名单及其资格考试服务供给。
其次,对获取资格准入的第三方评价机构的资格考试服务进行严格审查、评估和动态监测。一方面,对服务制度体系提出总体要求。要求第三方评价机构树立正确的“考试评价观”,确保考试有效、可信、可比、公正;另一方面,提供民众了解资格考试路径、建构评价服务效果反馈机制、建立投诉与质疑回应机制、资格考试服务撤销机制、实施资格考试政策信息公开制度。同时,对考试的设计与研发提出具体规定。如资格证书评价目标具体;提前发布详细资格考试大纲;确保评价的高区分度和信效度;所提供的考试服务需登记注册审核;建立评价材料和评价信息的保密机制;禁止开展任何与资格考试直接相关的培训和说明;所有为改善服务的相关培训必须向全社会公开,以确保公正可信。发生泄密事件后,需启动客观有效的追责调查;所有的资格成绩必须有证据支撑;必须遵守资格与考试管理办公室制定的申诉与投诉规定,妥善回应考生诉求。可以发现,在培育和发展第三方评价机构的进程中,不仅要严控资格准入的入口关,对第三方评价机构的“硬件”进行管控,还需对其考试评价服务供给的“软件”进行实时监测,把好过程关。
引入市场竞争机制
评价体系公开透明以质量和声誉求得生存
英国着力构建起第三方评价机构的多元结构,所有评价机构遵循评价制度公开和评价过程与结果透明的信息公开原则,积极引入优质服务市场竞争机制,将评价服务质量和声誉作为公众评判第三方评价机构可信性及评价机构生存资源再配置的重要依据。
(一)制订公开透明的评价制度与独立的仲裁体系确保过程和结果的可信性
首先,确立评价制度的信息公开机制,强化考试服务供给者的主体责任。所有的第三方评价机构都需在其官方网站详细标注评价规则和管理规则。评价规则包括考试机构自行制订考试大纲、评价目标和评分要求等常规性的具体评价规则,给出具体的评价样本、评分案例及历年真题供学校和考生参考。管理规则涉及授证机构公平、公开地向所有人提供考试专业建议与指导、恰当的考试支撑材料、考试大纲的分析说明会、考试评价全过程的所有管理流程和实施细节、评分人员前期的标准化培训与选拔机制、试卷的保密措施及各个考点的管理细则,帮助民众充分了解整个考试过程。信息完全公开可以起到两方面的作用,一是强化考试服务供给者的主体责任,这些规范性制度是第三方评价机构赖以运行的制度根基和公平保障,同时也是管理机构和民众外在监督的依据标准,是其风险监测预警和违规失信诊断的客观依据。
其次,建立评价结果的修正、调适、申诉和仲裁机制。各授证机构发布成绩再审修正程序,对考试中心评价所负责的表现性评价实施再审修正制度。如果中心评分结果和仲裁评分员评分结果差距超过了评分共差线,就需适时调整原有分数以确保所有考生在同一评分标准下受公平对待,对于存在疑义的成绩适时作出调适从而确保评分结果客观公正。第三方评价机构联合委员会赋予考生充分的疑虑成绩申诉权利,专门制定《申诉程序指导手册》和《试后成绩服务指南》进行规范化指导,公布考生查看原始卷子、质询考试成绩及对第三方评价机构申诉的具体程序以及受理回应机制。如果考试中心或考生个人对授证机构申诉处理不满意,还可以继续向其他授证机构及独立审查团乃至最高层级的考试程序检视服务中心申诉。这些价值无涉的独立仲裁可最大限度地保证考生申诉结果的公平公正。高效、公正和透明是第三方评价机构公信力建构的重要前提条件,评价目标和评价过程信息需要公开,存在疑义的评价结果需要再审与仲裁。
(二)引入优质服务市场份额竞争机制维系第三方评价的质量和声誉
第三方评价机构多元化的最大好处就在于形成一个有效的竞争机制,不仅可以降低服务价格,提供多样且创新的服务供给,还可以提升对顾客的服务质量。相对于商贸市场消费者总是青睐于价格相对稳定的供应商,对于资格证书考试的市场需求方来说,学校主要是基于考试授证机构提供的课程质量,即“教学的容易度”“课程对学生发展引领性”“学生对课程的喜爱度”“考试试题及其答案是否具备预测性”“是否提供更多的考试辅导和教师教学支撑材料”,来选择考试授证机构,质量而非价格是考试服务竞争市场的首要驱动。如果第三方评价机构考试服务供给发生了大的变故,如成绩误评等“失职”行为,或者是更换了考试大纲迫使学校不得不在师资和教材方面立起炉灶,学校会重新选择第三方评价机构。作为市场供给侧,第三方评价机构树立了强烈的市场竞争意识,根据新的大纲要求不断调整服务结构和服务质量,不断维护自己的声誉,作为学校购买自己服务的判断依据,当出现违规事件使其公信力受质疑时及时应对舆情、化解危机。第三方评价机构之间的竞争一方面吸引更多学校的考试服务购买权,另一方面避免出现信任滑坡事件招致老顾客流失。正如《学校购买评价服务市场调研报告》所指出的,“资格证书的内容和大纲、是否满足学生需求及授证机构的声誉”是学校购买第三方评价服务的主要影响因素;“课程内容与大纲,同事、同伴和当地权威机构的建议,是否满足学生的需求”,是学校变更教育评价服务机构的主要原因。服务质量和声誉已经成为评价服务市场资源配置的重要指标和关键考量因素。
建立监督体系
实行上中下位多圈层联动的监督机制
英国第三方评价建立了一套完善的多圈层监督体系,既有上位机构的强力监管和风险预警,也有中位层面的行业自律,还包括下位民众检举的综合监督体系,完善了利益主体监管的舆论监督机制。
(一)上位层面委任专业机构进行中央督查和风险研判与预警
首先,下议院委任专门教育委员会,设立议会巡视专员对第三方评价机构的公信力进行督查。下议院会根据需求委任专门教育委员会负责检视管理体系、实施政策及公共支出,以检验这些考试公共服务机构是否能有效满足公众的考试需求。代表民众切身利益的权力机构必须回应现存的评价危机,检视第三方评价考试体系是否为考生提供公平可信的考试成绩。2012年下议院教育委员会针对媒体、政客和民众广泛质疑第三方评价机构存在的降低考试标准、实施“无底线竞争”、考前培训辅导以及对现有考试体系进行根本性改革等强烈呼声展开专门调查,并发布《英格兰15~19岁考试管理体系》的调查报告,对英国基础教育第三方评价体系公信力进行全方位的检视。其监督审查权之高、利益无涉独立性之强、代表委员参与度之广、调查过程与结果透明性之纯,为第三方评价的公信力保障提供了强有力的上位监管。
其次,管理机构联合专业机构开展舆情监测与风险研判,以管控现实风险及防控未知风险。教育质量结果的运用牵涉多方利益,其倒逼效应影响深远。学校教育活动只要是承担绩效评估排名的压力,评价结果就成为学校不能忽略的办学目的指标。第三方评价机构以服务质量作为市场的竞争因子来吸引学校,但是“质量”容易被基础教育机构误解为“优质服务即通过率高的低难度考试”。考试监管机构需要警惕第三方评价机构盲目追求考试通过率的市场效应,避免因恶性竞争而故意提供“降低难度”的考试服务,这就要对其进行监管规制以降低这种实然风险。除了已经凸显的现实风险,管理机构还要未雨绸缪,和专业风险审计与预测机构共同协作,制订常规风险等级模型和风险等级评估体系,以支持风险的识别与防控。甄别风险出现的可能性与潜在影响,设置风险容忍下线并谋划防控策略,尽可能把风险降到可接受水平。
(二)中位层面健全行业协会监审制度实现自律管理
除了上位的监管,英国的第三方评价机构成员共同组建了资格认证联合委员会(The Joint Council for Qualifications,简称“联合委员会”),这是由英国七个最大的第三方评价机构出资组建的非营利性社会公益机构。联合委员会的重要职能在于对内加强第三方评价机构之间的协调联动,通过组建行业组织强化监审,实现第三方评价团体自律管理;对外搭建利益相关者和服务受众与评价机构沟通平台,及时回应民众和社会现实诉求,最终实现共治的目的。联合委员会除了监审授证机构之外,还对授证机构授权认证的考点进行行业检视,专门设立考点监测服务中心,并联合国家考点登记注册中心对第三方评价机构下属考点进行认证监管。一旦出现舞弊失信问题,敦促授证机构对其考点实施制裁乃至撤销。联合委员会代表其成员机构向公众发出授证机构公约《普通与职业资格证书考试评价中疑似舞弊处理程序与相关政策》,代表行业协会向各授证机构及其下设考点通告“考生、中心职员以及参与考试评价任何机构疑似舞弊行为处理程序,以及维护考试真实可信的保障措施”。其中包括指控、回应、调查、通报、申诉及回避等一系列规范化的舞弊和失信处理流程,明确第三方评价机构在失信处理过程中的责任与权限,对行业内可能的违规主体和违规行为提出明确的规定并提出防范和化解路径。行业协会自律公约的约束权限级别高于授证机构个体相关规定,如有冲突以行业自律公约为准。除此之外,定期在其官方网站向社会公布成员单位的违规行为和违规名单,开展自律监察失信行为的曝光活动。
(三)下位层面实施终端利益主体参与的社会力量协同监督
首先,建立终端利益共同体实现广泛监督。为了维护公众对第三方评价机构的信心,考试与资格管理办公室广泛邀请考试服务终端用户参与到评价的改善或公信力提升的进程中来,通过建构利益相关者参与的评价管理协商机制实施第三方评价的风险管理。建立国家课程委员会,邀请涉及中高考的中小学、学科委员会、大学和雇主共同参与进来,共商课程发展与认证,参与A级考试的认证并对试卷和评分标准予以监督。作为考试结果的终端用户,雇主和大学会对当下考试服务机构运转提供最直接的切身体验反馈,为公信力提升提供有效的评论与深度洞见。“利益相关者的参与和协作是第三方评价机构关注的业务领域之一,他们高度重视利益相关者对机构的看法及自身的利益诉求。”除此之外,管理机构也积极联合教师、考生、家长和普通民众共同展开第三方评价的年度调查研究,深刻剖析民众对考试的公共感知。未来我们应借鉴其做法积极提升高校、社会、雇主等评价利益相关者在考试服务改进中的参与度,在享受高质量评价服务的同时促进其积极改进。
其次,建立失信举报惩戒机制。畅通投诉举报渠道,健全举报受理的程序规则,全方位保护举报者个人权益。建立舞弊检举者“直接举报”和“越级举报”的权益保护机制。对于舞弊和疑似舞弊,雇主、中心职员、管理者、基金会、考生或者是其他授证机构、公众多层级的利益相关者可以向考试中心或授证机构直接举报,或者越级向考试管理机构乃至议会巡视专员举报,由巡视专员直接督查评价过程中出现的舞弊、失信、渎职等弊政行为。《雇佣权力法案》、《公共利益检举法案》和《资格证书和认证机构的检举政策》为雇员提供了法律保护,保证他们不会因公共检举单位或雇主的严重舞弊问题而受到惩罚或被解雇。
实施失信惩戒措施
建立从信用修复到退出禁入的线性监管约束机制
资格与考试管理办公室建立教育整改、通报批评、紧缩授权、处以罚款、增设认证条件以及撤销认证资质等系列惩戒措施,积极应对第三方评价机构的失信违规风险。
(一)轻度失信启动教育整改的信用修复机制,实施失信数据跨部门通报
第三方评价机构的失信意图有主客观之分,失信行为性质和情节存在轻重缓急之别,整个惩戒机制的最终目的是维护教育评价的公平正义,营造客观公正的第三方评价诚信生态体系。因此,失范惩戒体系中首要的步骤不是查处、罚款、撤销等严厉管控手段,而是诚信引导、规范改正的修复纠错程序。正如《管理处罚条例》中所说明的:“如果有证据表明授证机构没有依照认证标准行事或偏离了已有航道,就要对其进行教育引导确保其采取补救措施或避免步入歧途。”这些情景包括但不限于“擅自调整其资格标准致使不同评价机构之间不具可比性;对舞弊考点资质没有及时撤销;对舞弊考生的资格证书没有暂缓发放与及时撤销;未按管理机构的要求及时提供相关信息;没有及时采取合理有效方案应对舞弊违规事件引发的公众信任危机”。如果授证机构积极回应外界的教育整改,维系了其公信力,则不再实施后续惩罚;如果授证机构对管理机构的教育整改拒不服从,管理机构可申请法院强制执行。
对于第三方评价的违规事实和违规处罚,管理机构不仅在第三方评价机构群体之间通报以引起同行预警和规避,还进一步实现失信数据的全社会公开,在其官方网站公布处罚结果与制裁决定。利用部门间互联共享信息平台和社会信息大数据体系,构建管理机构、评价机构、中高等教育机构和社会公众共同参与的跨部门、跨需求、跨领域的惩戒通报机制和失信联合惩戒机制。失信数据的跨部门通报和社会通报机制从机构信誉和社会声誉层面约束第三方评价机构的服务行为,利用市场诚信主体档案的无形资产约束第三方评价机构的市场主体行为,维护透明诚信的教育评价市场秩序,构建公平公正的教育评价市场环境。
(二)中度失信派驻审查、紧缩授权和实施罚款,发挥强力查证和惩戒功能
当第三方评价机构在市场运作中出现违规违法行为,包括但不限于“管理机构怀疑授证机构在资格授予过程中牵涉舞弊或管理渎职;管理机构提出审查要求但授证机构拒绝提供相关信息;发生试题泄露等影响考试标准维系和公众信心的突发事件;管理机构需要审查留存在授证机构考试电子档案”,资格与考试管理办公室就会增设额外特别惩戒条件,派驻特别授权专员进入考试服务现场深度检查。派驻审查改变过去“管理机构提出信息或政策审核要求,授证机构回应”的应答监管模式,而是针对特殊情境强势介入,进入授证机构服务现场驻地检查和复制违规事件文档。
除了派驻审查,管理机构还会剥夺其部分课程资格证书授予权。这种情形包括但不限于“资格证书或授证机构存在诚信风险;资格证书因设计、评价或交付等环节管理不善而造成大范围的负面影响;管理机构对第三方评价机构的资格证书设计、研发、核准和质量保证等方面缺乏信任”。此时,尽管该机构的整体认证资质依然有效,但授证机构必须重新提出单科资质证书授予申请,经资格与考试管理办公室审核再次达到认证标准和认证要求时才会准许其进入证书管理登记库开展评价服务。如果经过整改尚未达到要求,资格与考试管理办公室就会拒绝资格认证授权申请并下达拒绝理由,授证机构也失去了该科资格授予的资质和权力。
对那些严重违反认证条例的第三方评价机构实施资金处罚,根据具体违规情节、授证机构补救措施、认错态度、影响程度等具体因素,最高执行年度总营业额百分之十的罚金。相对于教育引导、派驻审查和紧缩授权,金融制裁是一项更为严厉的惩戒措施。授证机构的违规行为包括但不限于“在评价服务中出现了影响大批考生的严重错误;在评分过程中出现重大失误损害了资格标准;人为降低评价质量标准给考生、评价和公众信心带来严重负面影响;违反认证标准以谋取机构私利;承诺整改但人为不予执行;瞒上欺下以及在评价服务供给中出现严重且持久的失误”。缴纳的罚款全部上缴到政府综合基金委员会。管理机构给予第三方评价机构充分的异议申诉和行政复议权,可以把管理机构的处罚决定上诉到初审裁判所进行终极裁决,如果拒不执行经济裁决,那么将由法院强制执行罚金及滞纳金。
(三)重度失信则撤销资质,实施市场退出禁入机制
撤销资质认证是管理机构对失信第三方评价机构执行的最为严厉的惩戒措施。撤销认证情境一般是严重的违规事件,包括但不限于“授证机构所下辖的考点发生重大违规事件或正在发生违规事件而其没有采取有效制裁措施;授证机构自身重大违规事件;拒不履行合作义务,扰乱管理机构有效管理的严重失信行为;授证机构包庇、隐瞒舞弊或治弊不利的违规行为;多次授证不严、弄虚作假,不能反映考生真实成绩的行为;管理不善与治理不严不能提供高质量的资格证书;授证机构采取非法行为,有损考试制度的声誉或者严重损害公众对考试制度的信心;授证机构不具备修复调适恢复到认证标准的能力”。此外,管理机构还加大了跨部门联合执法的力度,如平等与人权委员会和公平贸易办公室的联合执法,以寻求更为专业的惩戒治理措施,从多维度维系第三方评价机构的公信力。对于撤销机构实行市场退出禁入制度,对其资质申请实行终身禁审,不得进入市场提供公共考试服务供给。这种严重舞弊违规违纪的责任终身追究制度和市场退出禁入机制提供了强有力的威慑力。
基于英国的经验我们得知,第三方评价体系培育和发展过程中公信力建构应从组织架构、制度体系、市场竞争、监督机制和惩戒体系等方面多位发力。政府部门应该遵循渐进放权的行动逻辑,把评价权和管理权让渡出来,监管机构严把资格准入关,并对其公共考试服务实行动态审核与监控,用行政性约束与管制保障第三方评价机构的公益性与专业性。同时,要充分利用市场竞争机制来优化第三方评价机构公共考试服务的质量和水平,以声誉和威望作为公众购买第三方评价服务及其生存资源配置的重要依据,利用市场这只看不见的手促进资源合理配置,并进一步盘活评价的活力。多圈层协同监管和完善的失信惩戒又给行政性约束和市场性约束增设一道最后防线。在监督体系,设立高站位的中央督查,同时进行失信舆情监测、风险研判和预警,实现评价过程中失信风险的全过程管理。充分发挥行业协会的自律监管约束机制,努力建构公共考试服务机构诚信服务生态体系。充分发挥评价终端利益主体参与的社会力量协同监督功效,充分保障公众的检举权利。根据失信行为严重程度及其影响的危害程度实施一套从轻到重的线性惩戒措施,执行市场退出禁入机制,彰显失信惩戒的强针对性和高威慑力,达到教育引导、惩防并举、标本兼治的最终目的,最终实现公共考试服务供给的精准、可信、有效。