先给结论:额度有限时,不要按“看起来最像成功案例”的对象抽样,而要按“能推翻当前判断”的对象抽样。把有限额度优先花在两类样本上:一类是与你当前推广假设最可能冲突的对象,另一类是同一条件下结果明显分化的对象。前者帮你避免在错误方向上继续投入,后者帮你识别真正的分界线在哪里。下面用一个假设情境把决策过程走一遍。
假设你在推广一款面向小团队的效率工具,手上有一份候选渠道清单共两百条,但查询额度只够跑二十次。你不知道哪些渠道真的带来过安装,也不确定自己的判断标准是否可靠。此时如果随机抽二十条,得到的只是“平均长什么样”;如果专挑头部渠道,得到的只是“最好的能到什么程度”。两种做法都不能告诉你下一步该改什么。
更有效的做法是先明确当前最想验证的那句话。比如你现在的假设是“内容型渠道比工具导航站更容易带来留存用户”。那么二十次额度就不该平均分配,而应围绕这句假设来切分。
把二十次拆成三段,是一个可执行的最小动作:
这个分配的动作会直接影响下一步:如果对抗样本大面积推翻预判,你接下来要改的是判断框架,而不是继续加投;如果分化样本暴露出一个共同变量,你接下来要查的就是这个变量,而不是扩大样本量。
信息量不等于数据完整。在额度受限时,一个样本有信息量,通常满足下面任意一条:
反过来,重复验证已经确认的结论、只查最知名的对象、只查最容易查到的对象,都属于低信息量动作。容易查到往往是因为它被讨论得多,而不是因为它能回答你的问题。
二十次查询跑完,你得到的是一组线索,不是一份结论。以下推断在额度受限时都不成立:
一个更稳妥的收尾动作是:把这次二十次查询得到的判断写成一句可被推翻的话,并标注它依赖哪几个样本。下次额度到账时,优先去查能推翻这句话的对象,而不是重复查已经查过的。这样每一轮有限额度都在缩小不确定性,而不是在堆积同类数据。
额度有限时,可以按这个顺序执行:先写下当前最想验证的一句判断;再把额度分成对抗、分化、边界三份;每条样本记录它支持还是反对这句判断;最后只保留能改变下一步动作的发现。如果一轮下来没有任何样本能改变你的下一步,说明抽样方式需要调整,而不是说明结论已经稳固。具体到某个工具的实际额度、字段口径和更新节奏,仍需以该工具当前说明为准,不能凭印象假定。