文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
智东西
作者 | 李水青
编辑 | 心缘
智东西6月26日杭州报道 ， 今日 ， 智能家居上市公司萤石网络推出萤石蓝海大模型2.0版本 。 2.0版本实现感知、理解、记忆等算法能力升级 ， 并全新上线垂直场景混合大模型 ， 覆盖长辈看护、入户安全、儿童保育等多个领域 。
同时 ， 萤石升级了其新一代AI核心架构EZVIZ HomePlay OS ， 涉及了场景化智能体、萤石设备开放和萤石App开放等多个层面 ， 并完成端云协同与技能协调升级、系统安全与隐私保护升级 。 此外 ， 萤石还分享了AI养老、无人自助等多垂直场景落地成果 。
萤石公布了一组最新数据：过去一年 ， 蓝海大模型L0-L3算法能力新增升级达48个 ， 云端服务能力上线达101种 ， 月均算法服务调用量达2.52亿次 ， 并推进了混合算力推理中心、模型训练平台等基础建设 。
一、萤石蓝海大模型2.0：算法能力增强+垂直场景混合大模型 【萤石蓝海大模型2.0来了：感知理解记忆能力增强，首推垂直场景混合大模型】萤石蓝海大模型2.0实现了架构全面升级：一方面是算法能力实现增强 ， 包括多维融合、模态扩展和专项记忆；另一方面是垂直场景赋能 ， 包括专项能力、定向优化和精准赋能 。
首先在算力能力升级方面 ， 蓝海大模型2.0实现了感知能力升级 ， 实现高精感知一体化 ， 推出了消费类万物模型、千鸟识别算法、危险动物识别等多种算法 。
同时 ， 蓝海大模型2.0实现了理解能力升级 ， 支持多模态、多维度的理解 ， 包括视频级的直接理解、声音理解能力全面升级 ， 以及支持多维度混合理解模型 。
此外 ， 蓝海大模型2.0还实现了记忆能力升级 ， 支持精准画像存储 ， 构建了用户、设备和目标三个画像 ， 从而实现精准画像存储 ， 提供定制化服务 。
除了上述算法能力的升级 ， 蓝海大模型2.0还新推出垂直场景混合大模型 。
比如在消费类智能家居领域 ， 萤石推出了长辈看护混合大模型、入户安全混合大模型、会议记录混合大模型、儿童保育混合大模型、商铺零售混合大模型、餐饮监管混合大模型等多个混合大模型 。
以长辈看护混合大模型为例 ， 在以下演示视频中 ， 该模型可以实现长时间未出现警告、久坐提醒、健康日报等功能 。
长辈看护混合大模型演示
以入户安全混合大模型为例 ， 在以下演示视频中 ， 该模型可以实现走廊环境安全、可疑人员报警、物品看护等功能 。
入户安全混合大模型演示
二、AI核心架构升级：场景化智能体、萤石设备开放和App开放萤石于2024年推出了EZVIZ HomePlay OS ， 这是一个围绕人、家、商业 ， 以提升用户的生活及工作体验为目的 ， 通过提供智能代理及以视觉为主的AI能力 ， 让开发者可以快速、灵活、低成本地搭建开发自己智能场景或应用的平台 。
EZVIZ HomePlay OS主要包括五个组成部分：AI核心、端云协同、智能体封装、全栈开放和隐私保护 。 今年 ， 该平台主要针对碎片化AI场景进行了升级 ， 涉及挑战包括需求分散、解决问题分散、理解和决策分散 ， 以及感知、执行、交互、端算法分散等多个方面 ， 对应推出了场景化智能体、萤石设备开放和萤石App开放 。
1、场景化智能体：消费和行业两手抓
萤石研发的场景化智能体包括消费类智能体和行业类智能体 。
在消费类智能体方面 ， 萤石主要推出了星蓝-基础智能体、长辈看护智能体和智能入户智能体 。
以长辈看护智能体为例 ， 萤石通过人体特征代替人脸来保证长辈是别的准确性 ， 通过端-云融合大小模型融合的方式精准识别跌倒 ， 结合长辈垂直场景大模型进行行为、健康状况等识别 。
在行业智能体方面 ， 萤石一方面实现了物联感知和智能体融合 ， 一方面实现了设备互动与智能体融合 。
2、萤石设备开放：开发从5个月缩短到3周
当下 ， 标准品已经无法满足场景化创新的需求 ， 而设备定制周期长、成本高 。 硬件定制与碎片化场景的矛盾 ， 通用性AI与场景化AI的割裂 ， 算法模型与硬件芯片的冲突 ， 成为拦路虎 。
对此 ， 萤石提出不做场景的定义者 ， 而是为开发者提供更开放的设备 。 萤石设备开放的产品架构如下图所示 ， 覆盖设备原子能力开放、算法训练开放开放 。 据悉 ， 设备开放通过一体化+AI定义设备 ， 能促进应用开发周期大大缩短 。
以 4S 店话术分析场景为例 ， 传统方案需经历设备定制、设备上云、平台对接、算法训练、业务串联 5 大环节 ， 耗时至少 5 个月 ， 而基于萤石设备开放能力 ， 开发者工期可以缩短至3周 。
相关负责人称 ， 萤石设备开放平台具备效率高、品质硬、流量大和迭代快四大特点 ， 底层由蓝海大模型和EZVIZ HomePlay OS提供支持 ， 在商业方面有36万B端开发者、1.9亿C端用户和3亿设备（2.5亿视频设备）支持 。
3、萤石App开放：流量、技术和商业三级引擎保障
小微企业的数字化转型面临需求错位、供给错位和连接错位三重困境 ， 如何破局？答案或许藏在萤石App里 。 萤石宣布支持开发者以小程序开发方式 ， 轻量级入驻萤石App进行开发 。 萤石App开放提供流量引擎、技术引擎和商业引擎三级引擎保障 ， 助力开发者形成有活力的应用 。
在产品架构方面 ， 萤石App核心提供用户模块、设备模块、音视频模块、消息模块、AI模块五大模块 ， 以此实现各种场景功能 。
在端云协同与技能协调升级方面 ， 萤石推出了超10项协同算法 ， 每日数百万次使用 ， 拦截超99%+端侧算法误报 ， 相对于纯云端检测成本降低超90%；在技能协作方面 ， 其支持数十项协同技能 ， 内置智能控制、内容检索等技能 ， 外部覆盖天气、股票等应用 。
在全栈开放下的系统安全与隐私保护方面 ， EZVIZ HomePlay OS在APP开放安全、模型安全、设备开放安全和技能协调、端云协同安全都实现了升级 。
结语：一手技术一手场景 ， 打造物联网垂直大模型应用平台在大模型快速迭代背景下 ， 萤石蓝海大模型的策略是一方面夯实技术基础 ， 丰富算法组件和增强算法能力 ， 另一方面利用物联优势 ， 深耕垂直领域 ， 搭载专属大模型 。
智能家居是大模型落地的最佳现场之一 。 萤石一手抓技术 ， 一手抓场景 ， 提前布局物联网垂直大模型应用平台 ， 有望在新的全屋智能竞赛中抢占先机 。
推荐阅读
- ToMAP：赋予大模型「读心术」，打造更聪明的AI说服者
- 大模型竞争：美国抢人，中国裁人
- 淘天联合爱橙开源强化学习训练框架,支持十亿到千亿参数大模型
- 高中生也能轻松上手，华为整出了个大模型“瑞士军刀”
- 雷鸟AI眼镜北美日韩市占超40%，阿里云和通义大模型提供出海支持
- AI观察|“杀手级”应用继续缺失，AI大模型开始寻求硬件加持
- AI需要「像人类」那样思考？AlphaOne揭示大模型的「思考之道」
- 罗永浩数字人刷屏背后，文心大模型成为直播行业的“剧本总导演”
- Adobe发布Firefly手机应用，旨在整合多家大模型
- 中国霸榜视频大模型！海螺02深夜发布，性能超谷歌Veo3，指令遵循绝了