Coinbase在10月7日发布报告，揭示其Onramp服务的支付筛查中，三种主要AI模型的新版本在捕捉欺诈支付方面表现不如预期。这一发现质疑了升级模型能改善现有支付筛查工具的传统认知。
Coinbase对16,140笔交易进行了评估，涵盖7,293名用户，其中包括813笔确认的欺诈交易。研究分析维持了所有已成熟的欺诈案例，并采样了合法交易，值得注意的是，决策政策未作调整。
固定历史重播的结果
比较新旧版本后，Coinbase发现每个新版本的召回率（即模型捕捉欺诈案例的比例）和F1分数均下降。以Sonnet为例，其召回率下降了22.2个百分点，而Opus的召回率也有所下降。
GPT模型则呈现出更为复杂的变化——虽然精度提高了11.5个百分点，但召回率和 dollar-weighted 召回率却分别下降了20.7和21.8个百分点。这表明，改善一个指标可能掩盖了其他方面的短板。
然而，此次重播并未明确显示新版本造成的客户损失。Coinbase也承认能识别出这些性能下降的情况，但未能确定其原因。
在先前的在线实验中，Coinbase评估了将选择性LLM审核与现有模型和规则相结合的效果。这一流程减少了30%的欺诈交易和22%的欺诈价值，但未对新模型版本进行比较。
定制模型的独特案例
在10月8日的披露中，Coinbase透露，一个经过后训练的Qwen3.5-9B模型的表现超越了Opus 4.5，在四个欺诈检测指标上均有所改善。F1分数和 dollar-weighted 召回率分别提升了9.6和35.4个百分点。
更重要的是，Qwen3.5-9B的响应速度较Opus 4.5有显著提升，延迟时间从1.515秒缩短至0.683秒，提升幅度达55%。在支付提供商中，Coinbase建议先测试配置，再评估更改的提示或阈值，并考虑延迟、可靠性与成本等因素。
对于加密行业，确保欺诈检测的覆盖范围至关重要。更多相关信息请访问加密货币资讯网.
common problems
Coinbase的最新报告表明了什么？
报告显示新版本AI模型在捕捉欺诈交易方面的表现不如预期，挑战了升级模型的有效性。
Coinbase是如何进行交易评估的？
Coinbase对16,140笔交易进行重播分析，涵盖了多个用户和确认的欺诈交易。
Qwen3.5-9B模型与Opus 4.5相比有什么优越之处？
Qwen3.5-9B模型在多个欺诈检测指标上超越Opus 4.5，具有更好的召回率和更低的响应时间。
Coinbase对欺诈检测的建议是什么？
Coinbase建议测试AI模型配置，并同时评估延迟、可靠性及成本等因素，以提高欺诈检测效果。
