首页 / 核心技术/多模态大模型
MULTIMODAL LLM

多模态大模型

振动 / 声学 / 视觉三路数据时空对齐融合,自研多模态大模型攻克不确定性视频识别,核心方法已获发明专利授权。

真实电梯事件的判定常常是「不确定」的:画面里是摔倒还是嬉戏?异响来自门机还是乘客?天堉自研多模态大模型,把视觉、振动、声学与时序数据统一表征,让模型像老师傅一样综合「看、听、摸」下判断。

MULTIMODAL LLM

融合感知架构

三路信号,一个表征空间

视觉帧、振动波形与声学频谱经各自编码器映射到统一表征空间,时空对齐后进行跨模态注意力融合,单一模态的遮挡、噪声不再导致误判。

不确定性视频识别

模型知道自己「不确定」,并知道下一步做什么

置信度分级

每个判定附置信度分数,高置信直接处置,低置信升级复核。

大模型二次研判

边缘初筛 + 云端大模型复核两级流水线,误报在复核层被拦截。

主动学习

疑难样本自动送标,人工复核结果回流,模型越用越准。

可解释输出

告警附判定依据(关键帧、声纹片段、振动曲线),核查一目了然。

自研模型指标

20+ 知识产权沉淀的技术底座

输入模态视觉 / 振动 / 声学 / 时序运行数据
核心方法自适应不确定性 PU 学习(已授权发明专利)
识别类型多类故障与行为类别
复核时延云端研判 < 3s
迭代方式主动学习 + 月度 OTA
知识产权20+ 专利与软著合计

深入交流多模态技术细节?

预约与算法团队的专场交流,获取模型评测方法说明。

立即咨询 →