调查问题是很微妙的事情，即使是措辞上的小细节也会影响你的受访者如何解释和回答。一个不小心写出来的问题会毁了一项研究，所以值得花点额外的时间来完善你的调查。
案例研究：关于人们如何使用网络的调查
最近，我们决定复制施乐帕洛阿尔托研究中心(Xerox PARC)研究人员21年前进行的一项研究。最初的研究调查了网上发现的信息如何影响人们的决策，该研究包括一项大规模调查，其中3292名受访者详细描述了网络内容影响他们决定或行动的情况。
今天，人们比20年前更加依赖网络上的信息，从买房到决定去哪里吃饭，网络帮助用户做出各种各样的决定。因此，我们重复了这项研究，看看重要的在线信息搜索行为是否在过去20年里发生了变化。
在施乐公司的调查中，研究人员提出了以下单一问题：
请试着回忆一个最近的例子，你在World Wide Web发现了重要的信息，这些信息导致了一个重要的行动或决定。请把那件事描述得足够详细，以便我们能直观地了解情况。
虽然我们希望这些回答能与1998年的研究相媲美，但我们意识到，我们可能需要调整问题的措辞，以确保收集到的信息能反映出当今的在线服务使用情况。通过4轮的先导测试，我们能够完善问题。
第一轮测试
我们希望这个问题尽可能接近以前的版本，以便进行有效的比较。
在问题的第一个版本中，我们只是将“World Wide Web”改为“online”，以反映当前的术语。谷歌Ngram指出，1998年，“online”一词在谷歌图书语料库中出现的次数仅为“World Wide Web”一词的1.5倍左右，但在2008年，“online”一词出现的频率已经是“World Wide Web”的100多倍。”同时，谷歌趋势显示，“在线”的相关查询包括“在线电影”和“在线游戏”，而“万维网”的相关查询包括“万维网维基百科”和“谁创造了万维网”，这表明，今天人们用“在线”这个词来指他们可以在万维网上做的事情。
因此，我们将调查问题重新表述如下：
请试着回忆一个最近的例子，你在线上发现了重要的信息，这些信息导致了一个重要的行动或决定。请把那件事描述得足够详细，以便我们能直观地了解情况。
在这个阶段，我们招募了11名参与者，让他们填写了一份书面调查，并在调查结束时收集了他们的口头反馈。
其中四名先导测试参与者报告说，这个问题太笼统了，他们不确定我们想要什么。21年前，这可能不是问题，但现在，这是因为互联网的普及。南加州大学的一份报告显示，美国人每周花在网络上的时间从2000年的9.4小时增加到了2016年的23.6小时。Clickz的一篇文章显示，在2019年，人们平均每天上网6小时42分钟。对许多人来说，在网上收集信息已经成为一项频繁而平凡的任务，以至于他们很难找出一个具体的事例来进行报道。
为了解决这个问题，我们在第二个设计中加入了一个解释性的句子。
第二轮测试
请试着回忆一个最近的例子，你在线上发现了重要的信息，这些信息导致了一个重要的行动或决定。请把那件事描述得足够详细，以便我们能直观地了解情况。
一个重要的行动或决定可以是你认为有意义的计划、想法或行动的任何改变。
我们认为对“重要”做更多的解释可以缓解人们对他们的行为可能不符合我们标准的担忧。这个版本的问题测试了5个用户；调查是远程和无节制的。
首先回答问题，出国留学作品集可以放快题作品吗？答案是肯定的，快题作品是可以放进出国留学的作品集当中的。
在第二个试验中，人们受到解释文本的限制，只谈论他们由于在线信息而做出的改变。例如，一名参与者写道：“早上上班前，我在手机上的应用程序上查看了天气。它说温度比我预料的要低。所以我穿上一件暖和的外套，戴上一顶帽子。”另一位求职者谈到了网络信息是如何“改变了她的求职策略”，并使她把注意力集中在特定类型的公司上。几乎所有的答复都与一些具体的变化有关，但变化不应是重大决定或行动的必要方面。我们意识到，在“重要”后面加上解释可能会使受访者的答案产生偏见。我们决定去掉澄清句，尝试另一种方法。
第三轮测试
在第三轮测试中，我们尝试在主要问题之前添加一个多选问题，主要问题是关于受访者的重要活动。
你在过去一个月曾在网上进行下列哪项活动？(请选择所有适用的项目)
□ 买东西
□ 看电视节目或电影
□ 计划度假
□ 发邮件
□ 发布社交媒体(如Facebook或Instagram)
□ 研究课题
我们希望这个问题可以帮助用户反思他们最近的在线活动，这个过程可以帮助他们回答以下问题。我们小心地平衡不同类型的活动——从娱乐到严肃的活动。我们邀请了4位用户填写修订后的调查问卷，并与3位参与者进行了认知演练，以获得对调查语言的洞见。
不幸的是，这个组的所有参与者都报告了听起来与我们的多选回答太相似的活动。七名用户都在谈论他们在网上做的研究，比如“关于加州税基转移的信息”和“关于减肥手术的信息”。并不是所有重要的决定或行动都必须与研究相关，所以我们意识到，多选回答是在欺骗我们的受访者。也就是说，第一个问题的最后一个选项，“研究课题”，让参与者在回答第二个问题时提出与研究相关的答案。我们决定从调查中去掉启动问题。
第四轮测试
现在，我们很确信最大的问题是人们有太多的网上活动可供选择。他们需要得到保证，他们可以只选择一个活动来报道。这可能有助于解释为什么先导测试人员在面对最初的问题时感到困惑，以及为什么他们很容易受到我们所测试的变化的影响：人们不确定哪些决定是“重要的”，哪些不是，所以他们试图从研究人员提供的其他信息中寻找线索。在最初的帕洛阿尔托研究中心的研究中，这可能不是一个问题，因为在那个时候，互联网还不是很普及，对人们的生活影响也不大。
基于这一认识，我们再次修改了问题，包括一个说明，如果有许多例子出现在受访者脑海中，该说明可以帮助受访者。
请试着回忆一个最近的例子，你在线上发现了重要的信息，这些信息导致了一个重要的行动或决定。请把那件事描述得足够详细，以便我们能直观地了解情况。
如果你能回忆起几个这样的例子，请描述对你来说最重要的一个。
通过这个添加，我们向用户保证，他们可以用一个他们认为对他们最重要的例子来回答问题，我们在网上进行了调查，收集了50条回复。
50人的先导调查进展顺利；我们得到了各种各样的回应。除了研究如何做决定外，一名参与者还提到，“买我现在的手机，谷歌Pixel 2 XL。不断在Hulu上看到关于它的广告”，这表明广告影响了她的决定。另一个回复描述了她是如何因为收到手机通知而得到一张她最喜欢的乐队演唱会的门票的。
我们对收集的数据的细节和多样性感到满意，并决定基于这个版本的主要问题进行完整的研究。我们收集了700条回复，并对其进行了定量和定性分析，以更好地了解当前在线信息搜索行为的概况。
调查设计要诀
1. 确保你的研究问题可以用你的调查方法进行调查。
调查不能回答所有的研究问题。它们擅长帮助我们获取态度数据，而不是行为数据。他们能够提供的细节和情境信息也很有限。在我们的案例中，我们想要识别那些可能导致重大决策和行动的在线信息寻求行为。调查可以解决这个问题。但是，如果我们想要了解为什么人们会选择某些类型的信息寻求行为而不是其他类型的，或者他们何时何地参与这些行为，调查是不合适的。相反，用户访谈或实地研究可以在这些情况下更好地工作。
2. 避免启动或问引导性的问题。
保持调查问题的语言中立。人是社会性动物，他们可以解读微妙的线索，并试图按照(他们认为的)研究人员希望他们做的那样行事，即使是下意识的。正如我们在这个案例研究中所看到的，同一个问题措辞上的细微变化或在其之前增加另一个问题可能会导致截然不同的回答。
3. 运行先导研究。你可以同时测试多个版本。
有时，你可能无法分辨你的调查语言是否足够中立，直到你用真实的人测试它。对于你的第一个先导试验，你的同事或咖啡店的人员可以充当测试人员。然而，在你感兴趣的人群中进行至少一轮先导测试——不要只依赖你的同事。让你的参与者在完成调查时大声思考，以帮助你确定任何解释问题或潜在的引导问题。为你的先导测试的每个版本测试5-10个用户，应该就足够了。
4. 注意收集回复的时间。
有时，你发送在线调查的时间会影响你的答案的数量和质量。在我们的研究中，一半的参与者在周末接受调查，另一半在工作日接受调查。我们这样做是为了避免与响应收集时间相关的偏差结果。如果你的用户可能在白天很忙，那么在上午9点发送调查可能会妨碍你收集高质量的数据。
措辞不当、含糊不清或错误的问题顺序很容易导致调查结果的偏差。在你花钱收集数据之前，解决这些问题。与用户界面设计一样，调查也需要经过测试。事实上，测量仪器是一种设计，所以要像对待设计一样对待它。
原文链接：https://www.nngroup.com/articles/survey-questions-iterative-design/
翻译：马克笔设计留学
如果对于设计专业留学和作品集有任何疑问，可以随时和我们联系，微信：13718574833，知无不言言无不尽！
