关于申诉防滥用的分析和思考

一、为什么要申诉防滥用

申诉作为服务管控体系的一环,是司机对误判case的有效表达通道,同时承载了规则教育和司机负向情绪出口的功能。但由于涉及到客服判责,人力资源相对有限,需要确保资源创造的价值最大化。
如果衡量申诉的投入和创造的价值,平台投入判责资源,创造的价值包括误判case豁免、规则教育和负向情绪出口。当投入过高(高频申诉、虚假信息等),或者产出过低(申诉失败、解释性)时,可以认为判责资源没有被合理的利用。
同时从司机的角度看,申诉的预期收益明显正向。申诉成本低,且申诉成功可豁免处罚,而申诉失败损失不大(因为处罚已执行)。所以申诉天然存在被滥用的风险,为了保证平台资源的充分利用以及合理分配,需要思考如何防止申诉被滥用。

二、目前的申诉有哪些特征

如果将造成平台资源浪费的申诉行为视为滥用,那么可以从申诉量和申诉行为两个方面观察并分析。关注司机的申诉量以及转化漏斗数据。取11.11-12.10的快车司机申诉数据,发现了一些特征:

1、少数司机贡献了大量申诉
从数据上看,月均申诉量很低,平均一个司机一个月只进行两次申诉,但是申诉的方差较大,此外申诉5次及以下司机贡献申诉占比偏低,也说明存在少数司机贡献了大量的申诉。

2、申诉通过率和申诉次数没有明显关联
少数司机贡献了大量的申诉,需要关注这部分司机,是否存在疑似的滥用行为。分别取了申诉次数在6~15次,以及申诉次数大于15次的司机群体,发现申诉通过率在不同申诉次数的分布没有明显规律。
但我们同样需要关注,高申诉次数和高通过率的司机群体,是否在某种程度上hack了申诉的判责规则,这需要具体case具体分析。

关于这个现象我的思考是:
1、申诉通过率的高低会影响司机对申诉的预期,从而影响到申诉的使用率。
2、当前申诉整体的通过率偏高,正常司机和滥用司机在中高通过率的群体中,难以拆分。

3、申诉率存在头尾聚集的倾向
观察可申诉订单和申诉次数的分布,发现在相同的可申诉次数下,司机倾向于不申诉或者尽可能多的申诉。
关于这个现象我的思考是:
1、申诉本身需要操作手机,司机大概率在停车休息或收车后集中处理多个可申诉订单
2、当前判责的解释性相对不足,能够让司机接受自己有责而放弃申诉的case相对较少
3、结合处罚通知书的case,司机不申诉的一个原因是不知道(通知书的强触达能力转化了部分不申诉的司机)
那么当申诉成本较低,且同时处理多个可申诉订单时,司机很难有理由选择性申诉;对司机来说有多少可以申诉的订单,就申诉多少次才是合理的。

4、接单量和可申诉量非线性相关
从直觉上看,接单越多的司机,被处罚的可能性越高,如果单纯以申诉次数来衡量申诉滥用,对高接单量的司机并不友好。但是从数据看,发现接单量和可申诉量,从均值上看,是非线性的关系。但是方差随接单量增加,变化明显。即少量司机贡献多数申诉,且接单量越高,越集中在部分司机身上。
接单量<300 300<=接单量<600 600<=接单量<900 900<=接单量
月均可申诉单量 3.7 5.8 5.8 6.1
方差 27 54.6 56.5 69.9
月均申诉单量 1.5 3.3 3.5 3.9
方差 7.7 20.7 21.6 38.0

5、在申诉中,多数司机倾向于真实表达
选取了取消申诉的标签选择和申诉通过率数据,发现除“乘客个人原因取消”外,其他高选择率的标签,通过率都不高。尤其是“不顺路”和“来不及收车”,通过率在所有标签中基本是最低的,但是选择率处于第二梯队。假如司机倾向于虚假表达,应该会出现,通过率高的标签选择率高,但实际情况并非如此。
另外抽取了部分申诉case,从司机的实际表述来看,基本没有出现重复的套路化的表达,主要是反馈线下的信息。一方面只有少数司机存在滥用嫌疑,一方面线下信息核实成本极高,那么相信司机的表达,现阶段是合理的选择。

6、部分场景一次和二次申诉通过率存在明显差异
存在一些场景,一次通过率和二次通过率相差甚远,如查车、修路、限行限号、来不及收车、路口派单、不顺路等。此类场景存在取证和判责都比较困难的特点,模型判责很难搞定,并且司机的表达,也较难验证真伪。
结合特征5和特征6,我的思考是:
1、强线下的场景,机器判责效果较差,而司机信息表达是重要的输入
2、对司机表达以证伪的方式处理,成本太高,本身就难以持续
3、假如司机倾向于真实表达,那么将其引入判责体系,可以有效的提高判责准确度和司机体验

三、如何防滥用

根据数据分析中发现的特征,可以发现:
从申诉数量上看,少数司机贡献了大量的申诉
申诉通过率和申诉率没有明显分布特征,难以通过二者切分出可能滥用的司机群体
在高申诉次数的司机群体中,也存在通过率较高的司机,无法排除确实被多次误判的情况,不能简单的限制申诉次数。
接单量越高,可申诉量越高,但二者非线性相关,平均的申诉量仍处于可控的范围内,设置合理的阈值,能够覆盖多数司机的正常需求。
从申诉行为上看,多数司机倾向于真实表达;如果以对司机信息证伪的思路进行防滥用,判责成本和难度会更高

综上所述,可以认为现阶段较为合理的防滥用策略是:
一段时间内(比如一个自然月),设定可申诉次数阈值,申诉成功不影响继续申诉,申诉失败扣减次数,扣减完毕后不可申诉。

这个策略已经在小流量进行测试,效果正向,后续会持续关注。
短期内,我们希望通过防滥用策略,降低整体的申诉率,减少申诉次数聚集严重的问题。从长期来看,理想的情况是申诉的合理使用,即误判case的占比,申诉率降低,但申诉通过率提升。除了申诉次数上的防滥用策略外,还需要规则解释性的完善,以及判责结果的反馈。使司机能够根据平台举证信息,自行判断是否有责,再决定是否进行申诉。

四、对判责和申诉的一些延伸思考

在分析防滥用的过程中,我也在不断思考判责和申诉的理想状态是什么,有一些初步的想法,分享给大家。

1、判责规则简化,增强可解释性
我个人对判责和申诉的想法是,以简明可解释的规则,逐步替代模型判责。
司机是一个复杂的群体,模型判责是一个复杂的机制,二者叠加,对司机产生的影响是难以预测且不可控的。模型的解释性差,导致司机不理解,平台说不清,中间的gap会导致持续的误解。无论正确与否,司机一定会产生自己的解读,与平台规则背道而驰。

2、以简单的规则占领司机心智,牵引司机行为
在申诉case中,我发现司机经常会提到派单超过3公里或者等待乘客超过5分钟,这些规则司机耳熟能详,且确实运用在日常接单中。这类规则主要的特点是足够简单,好理解,责任一刀切。
如果能够实现主要以规则判责,可以快速占领司机心智,对司机的行为会起到明显的牵引作用。但是线下场景复杂度太高,规则本身也需要反复权衡打磨和大量的思考。

3、发掘司机表达的价值,将表达环节前置并应用于判责
在分析中,我认为多数司机申诉时倾向于真实表达,而且从实际的申诉通过率来看,也确实导致了相当数量的改判。那么司机在申诉中的表达内容,其实可以作为判责的重要输入源,将“判责-处罚-表达”,变为“判责-表达-处罚”。提高判责质量,倾听司机的声音,才能够有效的降低司机对判责的不信任感。

评论