员工调研如何判断无效问卷

摘要答得快或连续选择同一选项都不能单独证明员工没有认真作答。肯耐珂萨从问卷路径、质量信号和剔除影响分析有效性判断帮助HR建立可解释的数据处理规则避免把不方便理解的意见提前删掉。“答得最快的这些要不要先删掉”做员工调研分析时可能会出现这样的提议。另一位HR接着问“问卷有跳题大家实际看到的题一样多吗”一个看似简单的清洗动作就此变成了对判断依据的追问。作答速度确实可能提供线索。短时间完成很多需要理解的题目值得检查。但速度本身还不能说明员工有没有认真阅读更不能直接推断他的态度。熟悉议题的人可能判断很快放着页面做其他事的人也可能留下很长的完成时间。如果员工只看到了适用的少量题目却与完成全部问卷的人比较总时长较快几乎是自然结果。移动设备、页面设计、题目长度也可能影响过程。数据里一个统一的时间值并没有把这些差别自动说明白。同样需要谨慎的是连续选择同一个分数。员工可能没有认真区分也可能确实对一组相关问题持有一致看法。只因答案排列整齐就删除可能会把态度明确的人排除在外。看到一个模式下一步应是了解它为什么出现。AAPOR的透明度倡议要求说明数据处理中的有效性检查与排除方式。这项原则给企业调研一个有用提醒清洗不是分析人员关起门来的技术动作排除了什么、依据什么都应能够解释。它并没有替每家企业规定一条作答时间线。对于一批已经回收的问卷可以按下面的顺序核对而不急着确定哪些人不认真。1. 时间是否可比。先了解问卷路径、题目数量与时间字段的含义若系统没有提供所需信息就承认无法据此作出可靠判断。2. 信号是否相互支持。把速度与已取得的其他合理线索结合看注意区分逻辑矛盾、信息不足和真实的一致态度不能用单个异常代替结论。3. 处理是否改变解释。对有争议的样本可以比较保留与排除后的主要结果说明哪些判断稳定、哪些对处理规则敏感而非只保留更好看的一版。这几项检查的重点是核对材料不是寻找写问卷的人。匿名调研不能为了判断答卷质量反过来让主管认领员工或用工作表现推测谁可能敷衍。数据处理不应顺势改变原先向员工说明的使用边界。肯耐珂萨员工调研提供数据分析与报告能力企业讨论问卷质量时还需要单独确认可获得哪些过程信息、由谁作判断。不能从“有分析功能”推导出已经具备自动识别敷衍答卷的能力也不宜把软件标出的提示直接当成最终排除决定。更稳妥的安排是在下一轮调研启动前先说明质量规则。可以结合试填了解题目是否过长、是否容易误解、分支是否合理。若题目本身让人难以区分连续同项回答可能在提醒设计需要调整不能全部归到员工身上。规则事先确定也是在保护分析的独立性。若看见某个部门分数偏低以后才修改排除标准就容易出现一种危险的便利不喜欢的结果总能找到一个技术理由处理掉。即使调整确有方法依据也需要记录原因与影响让读者知道解释条件变了。这不要求分析团队承诺每份答卷都能被准确识别。对于证据不足的情况可以保留疑问缩小结论范围。明确说“现有数据无法判断”比贴一个确定的无效标签更专业。缺失的过程字段不能靠猜测补造也不宜为验证怀疑而临时收集未向员工说明的信息。清洗规则应该帮助认识材料而非制造没有根据的确定性。向管理层说明结果时也不必堆满技术细节。把回收范围、主要排除方法、排除数量及其影响讲清楚已经能够让讨论更有根据。涉及小群体时仍应注意不通过这些说明暴露个人。有时最终需要删除的确实是一批质量不足的问卷有时更需要重做的是题目、发放方式或分析预期。两种结果都可以接受。下一次有人建议先把答得快的删掉HR可以继续追问我们准备排除的是无效信息还是一批暂时不容易解释的回答