2022年11月，第二届中国政务服务掌办指数发布会在杭州成功举办，会上发布的《中国省级移动政务服务报告》（以下简称《报告》）以及“掌上好办”指数受到业界广泛关注。

“掌办指数”与其他第三方评估相比，始终坚持以用户的使用感受为标尺，继而制定评估指标体系。《报告》中把各地政府开发的政务服务移动端比喻为政府向公众伸出的一只“数字之手”，提出需要“五指并用”才能实现掌上好办。因此，“掌办指数”在评估过程中，也更为侧重用户的使用感受和体验，设置“技术测试+人工观察+文本分析”三个环节，其中“人工观察+文本分析”均需借助用户亲身体验和记录，才能产生结果。

“人工观察”环节分为观察和体验两个部分，“观察”是由用户查看某政务服务App中是否包含相关的设置，比如是否有老年专区、无障碍服务等；“体验”是模拟用户实际使用政务服务App过程，记录办理事项中可能遇到的各种问题。“文本分析”是指关注文献、政策、用户评价等相关内容，如各类政务服务App在应用市场的得分和评价。为确保评估结果客观公正，“掌办指数”出品方招募了一支用户“体验官”团队，参与到上述两个环节中。

用户“体验官”如何进行评估

从任务分发到结果汇总，最终核定得分，“掌办指数”的用户“体验官”机制有一套完整的工作流程。

在评估过程中，每个用户“体验官”会被分到两类任务，一是总体性任务，这类任务涉及了用户意愿或主观判断，所有的用户“体验官”均会参与；二是分任务，每位用户“体验官”的分任务皆有不同，对同一个指标对应的任务需要由至少两名用户“体验官”进行体验评估，每类任务都需要对各项步骤进行录屏和截图。初步评估结束后，所有用户“体验官”出具的结果会被匿名化汇总，由专门的核查员（上一年的用户“体验官”担任）进行核查和标注，检查团队成员提供的录屏和截图素材，并将核定结果与团队负责人进行讨论交流，再给出最终得分。

今年，根据各地政务服务的最新发展态势和用户使用反馈，“掌办指数”对评估指标进行更新，用户“体验官”评估内容也根据指标变化而调整，团队规模进行了一定扩充，整体工作模式愈发完善。

用户“体验官”如何助力评估结果

层层选拔、流程亲测，确保过程专业

“掌办指数”为确保过程公平公正，对用户“体验官”设置严格的选拔和管理制度，并且实际体验中需要走完办事全流程。

首先，所有用户“体验官”均为来自全国各地高校的学生，报名后通过初筛并签署保密协议的人员，即可参与首轮培训以及试评估。再根据试评估结果，对人员进行二次筛选，本次入选并参加二轮培训和答疑的人员，即可正式成为掌办指数的用户“体验官”。

其次，为了更有效地对评估过程和结果进行管理，用户“体验官”需要做到以下三点：对评估过程录屏和截图、将评估结果形成文档、对评估中新出现或不确定的情况进行标注，让过程中的每一步可查验、可追溯。

最后，在实际体验的过程中，用户“体验官”需要完成掌上办事从办理到办结的过程。团队中的小A用形象生动的例子回顾了整个体验流程：“有个叫小A的中国人，非要进行外国人居住登记，在各地都受过工伤，并且在全国范围内‘流窜’，并试图领取每个地方的失业保险金。”由此可见，用户“体验官”确实在进行政务服务App办事全程体验，并给出负责任的分数。

分组赋分、随机核查，力证结果客观

为避免因用户“体验官”的主观因素，导致评估结果不够客观，“掌办指数”在评估中的每个阶段，均会采取一些保障措施。

评估开始前，考虑到相同政务服务App在Android和iOS操作系统的版本差异，每个分任务均安排了两名用户“体验官”分别记录不同操作系统中的情况；同时，还要规避用户“体验官”的属地，不让相关人员接触其故乡和第二故乡政务服务App评估。

评估过程中，涉及到用户“体验官”主观判断的总体性任务，比如指标涉及到用户是否愿意留存或分享等，每位用户“体验官”都要根据评估结果进行打分，取团队打分的均值作为最终结果，旨在将个人倾向对评估的影响降到最小。

评估结束后，核查员需根据用户“体验官”的录屏和截图，对评估结果中的任意一项随机抽查。如果在某项结果中发现问题，核查员需与出具该结果用户“体验官”一起，进行核实甚至返工，确保准确无误后再核定每项评估的得分。

综上所述，《中国省级移动政务服务报告》能够顺利诞生，离不开用户“体验官”幕后的付出。用户“体验官”在评估过程中模拟用户使用政务服务App的真实体验，这是很多第三方评估无法做到的；通过用户“体验官”全流程亲测和管理制度保障，也为“掌办指数”结果的公平公正保驾护航。

“掌办指数”以用户“体验官”机制，在评估中充分囊括了不同人群的差异化需求，并以用户视角复现政务服务App中真实存在问题，同时对优秀做法进行记录和推广，从而为各地政务服务移动端建设提供有力参考，最终促进政务服务App其向着掌上更好办的方向迈进，这即是用户“体验官”存在的意义。