技术知识库 · 技术指南 · · 国科智飞 Gavin
金融场景的语音识别：难点与选型
金融通话录音里藏着客户状态、风险信号和高转化话术，但前提是 STT 足够稳。难点不在模型，在术语、口音、双说话人和合规边界。
在金融信贷行业，通话录音是最被低估的数据资产。电销、客服、贷后每天产生大量对话，里面藏着客户状态、风险信号和高转化话术，但绝大多数录音只是被存档，没有被转写和分析。想把这块数据用起来，第一道工序永远是 STT——没有稳定的语音识别，后面所有分析都无从谈起。本文整理我们对金融场景语音识别的观察：难在哪里、要解决什么、怎么选型和落地。
场景的四个特点
金融通话场景和通用会议转写完全不同：
- 客户群体往往处于资金压力之下，表达中真假信息交织，同一句话可能同时包含意愿和风险信号；
- 业务员通话窗口短，通常要在很短时间内完成判断、推进和转化；
- 电话销售、客服、售后都强依赖话术与节奏，说得对不对直接反映在转化率上；
- 最有价值的，是把业务员身上的隐性技能显性化、结构化、可复用化。
STT 是入口，不是可选项
没有稳定的 STT，就没有后面的：断句、说话人分离、话术分析、状态识别、风险抽取、实时提示。这条依赖链的每一环都建立在转写文本之上，转写错一个字，下游的标签和判断就可能完全走样。所以在这个场景里，STT 是智能化的入口，而不是可以后置优化的模块。
要解决的三侧问题
客户侧：识别资金压力、意愿强弱、配合度、真实性和风险信号，判断当前处于哪个转化阶段，为产品策略、风控策略和 AI 化改造提供数据依据。
业务员侧：找出销冠与长期不成单者，提炼高转化话术模式，区分"有效推进话术"与"无效消耗话术"，用于团队培训和绩效辅导。
实时侧：通话开始后立即分析，实时输出客户状态，实时建议下一句怎么说，最终做成提词板或辅助决策面板。
三侧共用同一份转写文本，但指标要求不同：客户侧和业务员侧看准确率和召回，实时侧看延迟。
技术难点在哪里
第一，术语和产品名。金融产品名、期限、费率、还款方式的表述在通用语料里出现频率低，通用模型很容易听成同音词，必须靠热词注入或定制词表解决。
第二，双说话人。通话是客户与业务员的双人对话，需要说话人分离并把每句话归属到正确角色；电话线路单声道混音会让这件事更难，而角色归属错了，话术分析就失去意义。
第三，口音、语速与噪声。电话采样率低、方言口音重、背景嘈杂、情绪激动时语速变化大，通用模型在这些条件下准确率明显下滑，必须用真实业务数据验证。
第四，实时与延迟。提词板要求秒级返回，离线复盘则追求尽可能高的准确率。这两条链路的模型和工程指标不一样，不能用同一套配置硬扛。
第五，合规与数据边界。金融录音敏感，方案要能私有化部署；录音告知与授权、数据最小化、敏感字段脱敏必须前置设计，而不是等出了问题再补。
选型建议
中文主链路优先 FunASR / Paraformer 系：VAD、标点、热词、说话人相关能力齐全，工程化程度高，适合企业级转写和实时字幕。
需要情绪和音频事件时看 SenseVoice：一条模型同时带 ASR、语种识别、情绪识别和音频事件检测，能额外捕捉"语气激动""环境异常"这类信号。
长音频、复杂环境兜底用 Whisper large-v3：通用性成熟，适合离线批处理；跨语种或语音翻译场景可以看 SeamlessM4T / SeamlessStreaming。
实时与离线分两条链路：实时用低延迟流式模型保证响应，离线复盘用更大模型重跑保证精度，两套结果分级使用，不要指望一个模型同时满足两端。
选型前先过合规和许可：能不能私有化部署、License 是否允许商用，在金融场景里往往比几个百分点的准确率更重要。
评估要自己动手
金融场景的 STT 没法只看公开榜单，评估集必须从真实通话里切。建议按四类条件采样：方言口音重的、背景嘈杂的、术语密集的、买卖双方抢话多的。评估指标也不要只看字错率（WER）——在这个场景里，同一个数字背后优先级不同：
- 关键词召回：金额、期限、费率、产品名这些关键实体错一个，下游判断就全错；
- 角色归属准确率：说话人分离对了，但把客户的话标成业务员的，话术分析直接失效；
- 时间戳精度：实时提示依赖它，时间戳漂移会让"下一句建议"错过时机；
- 专项抽取准确率：风险信号这类业务标签的召回，比整体转写率更接近项目目标。
评估集建好之后，所有候选模型都用同一套数据跑，包括闭源 API 作对照——很可能出现"通用场景最强的模型，在方言电话录音上输给国产模型"的结论。
分阶段落地
建议分三步走，避免一上来就做实时：
第一步，离线 POC：取一批历史录音做转写和标签抽取，验证术语、口音和双说话人是否达标，同时把标签体系草案定下来。
第二步，全量离线分析：接入话单元数据，跑通清洗、质检和复盘流程，用数据验证"高转化话术"这类假设是否成立。
第三步，实时提词：在前两步的数据基础上，再引入低延迟流式链路，先做状态提示，再谨慎做话术建议，并保留人工确认环节。
顺序颠倒的常见后果是：实时链路建起来了，但发现标签体系没定义清楚，输出没人敢用。
落地清单
能力验证先做成清单：金融话术识别准确率、通话实时性、噪声/口音/语速适应、客户与业务员双说话人识别、风险信号抽取、下一句话术生成。每一项都用真实业务录音测，不用公开榜单代替。
SOP 则建议提前固定下来：录音接入规范、话单与通话元数据对齐、STT 清洗流程、客户状态标签体系、业务员能力标签体系、质检与复盘流程、实时提示策略。
两点提醒
其一，金融场景的自动化输出应定位为辅助工具，涉及风险判断和客户沟通的环节要保留人工复核，别让模型替人做结论。其二，数据合规优先于模型效果：录音边界、存储位置、访问权限先想清楚，再谈识别率。
语音识别只是这条链路的第一步，但它决定了后面所有分析的天花板。选型时把术语、双说话人和实时/离线两条链路想透，后面的标签体系和话术分析才有扎实的地基。