② 结构：指标分成结果型和原因型，这样就能既监测结果，又能提供解读，原因型指标最好能与本次改版的内容（设计方案，功能等）相关，便于回顾分析改版内容。
3、指标数据的收集
此部分工作与调研和数据分析相关联大，考虑到已有资料较多和本文篇幅问题，就不再具体介绍实际操作的技巧了，提供一条经验分享，由于需要比较改版前后的数据，因此指标收集的工作尽量在新版上线前就开始准备和开始，毕竟有些数据，尤其是老版本用户评价的收集（问卷投放和回收等）本身就需要一定时间，且新版本上线后也不适合再收集了，缺失了改版前的数据，自然无法比较和衡量效果了。
4、指标的对比
在拿到指标的数据后，对于设计师或产品经理，就可以通过改版指标数据的的变化来分析本次设计、功能的优化的效果了。但是，需要提醒，产品并不是处在真空环境里，除了设计、功能的改变，同期还有很多因素在变化，因此改版前后数据的变化还会来自页面上内容/促销活动、全站流量变化（淡旺季，假期、所处生命周期阶段，即如果产品处于快速成长期，用户规模等都是呈快速增加的趋势的），用户差异、用户的适应度（即：用户使用新版初期，由于觉得新鲜需要探索从而产生了更多使用/点击，这种情况主要出现在信息型产品里，如首页等；或者由于不习惯，一时找不到功能入口，造成短期内效率，满意度等指标下降。）等诸多因素。需注意不同类型的产品（信息型、工具型）所受的影响及大小也会有差异。
为了相对更科学、客观的了解设计、功能的改变带来的效果，就需要把其他因素的作用尽量去除或减少。由于当前改版的对比方式主要有两种， A/B测试（新老版本同时在线）和前后对比测试，所以下文就分别针对两种不同对比方式介绍一些对策。 必须指出，由于一些因素本身就难以区分开，比如某个页面上的功能和内容（如新功能才有的新内容/促销活动/商品）所以笔者目前也没有很好的对策能区分开这种因素对改版效果带来的影响。
趋势对比法：
【原理】：网站在不同的生命周期阶段（成长，衰退等），全站流量（包含改版页面）与流量结构的也都是动态变化的，因此，如果改版页面前后的变化幅度大于全站的变化幅度，则说明改版有效果
【操作】：
步骤1:改版后与去年同期流量对比，得到该页面改版前后变化幅度
步骤2:提取今年与去年同期全站的流量，得到网站年度变化幅度
步骤3:如果改版前后变化幅度>网站年度变化幅度，则为改版带来的作用
如果对改版效果的精准性没有那么高的要求，一般主要注意取数时避开淡旺季、假期，等新版本上线一段时间再分析即可，如果条件允许，尽量使用A/B测试的同时对比方法。
5、指标数据的解读
在拿到改版前后的数据后，数据的解读一般就容易开展了，关于这个环节，有两个小建议：
Tips 1: 多个指标（如满意度，用户对某功能的点击率）等配合使用，能彼此佐证和更好的解读效果。
Tips 2: 改版前后数据的变化不仅能评估改版目标是否达到，更是对设计、产品等相关项目组成员工作的反馈，值得根据指标数据分析原因，更好指导以后的工作。
四、效果评估的2个扩展
结合以上内容可以发现，单次的效果评估需要投入的时间和人力资源较多，而且产生的价值也有限。其实，改版分析中收集到的这些数据还可以发挥更多用途，也可以采用工具化的方式提升效率。
1、从单次效果评估到体验摸底与监测
对于经常处于优化迭代期的产品，本次改版后的数据和用户反馈其实就可以作为下次改版前的参考；也能作为业务和体验水平的基准数据，通过定期收集这种指标数据，了解产品是否有异动，从而起到体验监测的作用。 而且，即使产品最近暂不改版，也可以参考评估模型的指标对现有的体验水平进行摸底，更好的了解用户体验现状。
2、工具化
为了提升效率，可以在数据收集环节多采用工具的方式来解决，比如，对于长期，经常观察的后台数据通过报表等方式展示，对于用户反馈（如满意度，忠诚度）等体验指标，也可以在产品内长期收集和监测，既能提高取数的效率，也能避免忘记改版前收集数据，改版后无数可看的风险。
五、小结
综上，改版效果评估的调研工作可以归纳为：三个意识，五个环节，两个扩展。
FEVTE编注：更多平面设计理论学习请访问飞特网平面设计理论知识栏目，地址：https://www.fevte.com/plan/shejililun/
飞特游客
委托设计