我们已经有太多孤立系统的问题 ， 去重技术不应该再成为其中之一 。
去重技术在现代数据中心无处不在 。 存储阵列、备份系统和广域网复制工具都将其作为标准功能 。 这种普及性带来了一个问题：去重被视为常规功能——标准化、理所当然 ， 并被简化为简单的容量节省计算 。 供应商勾选功能框 ， 客户认为已经覆盖 ， 然后大家继续前行 。
现实更为复杂 。 每个系统实现去重的方式都不同 。 存储阵列使用一种算法 ， 广域网设备使用另一种 ， 备份系统采用第三种方法 。 这些实现之间互不通信 。
数据在这些孤立系统间不断移动 。 虚拟机备份可能在主存储中开始时是去重的 ， 在备份过程中扩展到完整大小 ， 然后在备份设备中使用不同算法再次去重 。 对于灾难恢复 ， 同一数据集在流经复制软件或广域网设备时重新水化 ， 在传输中去重 ， 到达灾备存储时再次扩展 ， 然后被阵列再次去重 。
结果是持续的重新水化和重复去重 。 每当数据跨越系统边界时 ， 都会失去去重状态 。 CPU周期浪费在扩展数据上 ， 广域网电路承载冗余块 ， 存储系统为已在其他地方去重的信息消耗额外容量 。
突破不在于去重技术本身 ， 而在于如何应用 。 组织可以将去重作为统一的基础设施级能力来实施 ， 而不是将其视为一系列断开连接的功能 。 这种转变将去重从常规勾选项转变为跨越存储、计算和网络的战略优势 。
**为什么现在很重要**
重新思考去重的需求从未如此迫切 。 几个压力正在向IT领导者汇聚 ， 使得常规的、特定存储的去重变得不足 。
VMware转型：当组织考虑VMware的替代方案时 ， 他们重新评估的不仅仅是虚拟机管理程序 ， 而是整个基础设施策略 。 这个变化时刻为解决长期存在的低效率问题（包括碎片化去重）创造了机会 。
AI工作负载：现代AI管道产生大量重复数据 ， 如检查点、日志和缓存数据集 ， 跨越TB级别但只有微小差异 。 特定存储的去重很难在计算、存储和网络层管理这些模式 。 这迫使IT为AI部署单独的系统或基础设施 ， 增加了已经紧张环境中的复杂性和成本 。
预算压力：IT预算承受持续压力 。 重新水化和重复去重造成的CPU、RAM和广域网低效率代表了隐性税收 ， 相当于30-50%的资源开销 ， 组织再也无法承受 。 领导者需要减少总资源消耗的基础设施 ， 而不仅仅是存储容量 。
这些压力共同使去重成为战略对话 。 将其视为常规勾选功能已经不够 。 基础设施级去重正在成为希望保持竞争力同时控制成本的组织的要求 。
**常规去重的隐性成本**
存储去重提供容量节省 ， 但对改善性能、广域网效率或恢复时间几乎没有帮助 。 通过存在于存储孤岛中 ， 常规去重引入了一系列隐性成本 ， 波及整个基础设施 。
重新水化惩罚：每个系统使用不同的去重算法 ， 迫使数据在每次跨越边界时扩展和重新去重 。 在主存储中压缩5:1的数据集在前往备份或灾备系统的路上每次重新水化时消耗5倍的CPU周期和广域网带宽 。
广域网重新水化循环：使用特定存储的去重 ， 数据在存储边界重新水化 ， 然后交给广域网设备或复制软件 。 广域网引擎然后为传输去重 ， 通过线路发送唯一段 。 在目的地 ， 流在落到灾备存储之前再次重新水化 ， 然后在写入时再次去重 。
资源开销：后处理去重并非免费 。 组织部署比工作负载实际需要多30-50%的CPU和RAM ， 以吸收重新水化和二次去重循环的开销 。
系统碎片化：备份存储、广域网复制、灾备存储和归档系统都独立运行 。 每个都消耗自己的资源 ， 运行自己的元数据 ， 重复应该已经完成的工作 。
运营惩罚：并行元数据模型消耗内存并创造更多故障点 。 备份窗口延长 ， 因为数据反复扩展和收缩 。 广域网电路过度配置以适应重新水化的全尺寸数据流 。
综合来看 ， 这些低效率施加了可测量的去重税收 。 IT团队勾选去重框 ， 认为已经覆盖 ， 但仍然在CPU周期、内存开销、广域网使用和错过的恢复目标方面承担成本 。 替代方案是基础设施级去重 ， 可以消除这些冗余循环 。
**基础设施级去重的样子**
与生活在存储孤岛中的常规去重不同 ， 基础设施级去重是整个基础设施的原生能力 。 它不是附加到现有系统上 ， 而是设计到平台本身中 。
原生、内联和全局：基础设施级去重从最早的代码行就内置 ， 而不是事后添加 。 它与数据流内联操作 ， 而不是作为后处理步骤 ， 并且跨越整个基础设施而不是生活在孤立的孤岛中 。
跨层操作：去重同时在存储、虚拟化和网络层运行 。 当在虚拟机管理程序做出决策时 ， 它们直接通知存储操作 。 网络传输自动使用去重元数据 ， 无需冗余处理周期 。
统一元数据：基础设施级实现使用单一、一致的元数据模型 ， 而不是每个系统维护自己的去重表 。 在纽约去重的块在伦敦或东京引用时仍然保持去重 。 存储冗余块的唯一情况是满足灾备或备份策略要求 。
这种集成解释了为什么基础设施级去重尽管有益处但很少见 。 供应商构建了分离存储、虚拟化和网络的平台 。 后来添加统一去重需要重新设计核心架构 ， 而不是简单更新 。 技术债务、客户对向后兼容性的需求以及产品团队间的协调挑战阻碍了这种转变 。
这种架构方法将去重从存储节省功能转变为战略资产 。 它改善性能和效率 ， 在整个基础设施中降低成本 。
**战略优势**
基础设施级去重提供可测量的改进 ， 随着组织规模扩大而复合 ， 创造超越存储容量节省的竞争优势 。
性能：通过从一开始就对去重数据集操作 ， 基础设施级实现减少40-60%的I/O操作 。 缓存命中率提高2-3倍 ， 因为工作数据集从根本上变小 。 应用程序体验更低延迟和更高吞吐量 ， 因为底层存储在每一层处理更少数据 。
灾难恢复和广域网：只有唯一块穿越网络 ， 减少70-90%的复制流量 。 在多对一场景中 ， 统一元数据结构确保只有唯一数据发送到灾难恢复站点 。 广域网电路可以处理更多数据 ， 或者组织可以在维持相同保护级别的同时减少带宽成本 。
资源效率：基础设施级去重消除了后处理和孤岛方法需要的30-50%CPU和RAM开销 。 组织可以基于实际工作负载要求而不是去重惩罚来合理配置服务器 。 内存使用在整个基础设施中改善 ， 因为重复数据从不进入缓存层次结构 。
备份简化：备份窗口收缩60-80% ， 因为数据在保护期间不重新水化 。 快照是即时的 ， 引用去重块而没有复杂元数据 。 它们独立于原始数据 ， 适合长期保护而不影响性能 。 恢复使用相同的块结构 ， 比传统方法加速恢复5-10倍 。
多站点灵活性：在所有位置保持一致去重 ， 工作负载移动变得无缝 。 整个数据中心 ， 而不仅仅是虚拟机 ， 可以在大洲间迁移 ， 数据传输最少 。 以前需要数小时在站点间复制的AI训练检查点现在几分钟内完成 。
**从常规功能到战略优势**
去重将始终是基础设施对话的一部分 ， 但在存储阵列、备份设备和广域网优化器中 ， 它已成为常规功能——有用、期望且局限于容量节省 。 这样对待去重让组织在CPU周期、内存、广域网带宽和恢复时间方面支付隐性税收 。
基础设施级去重重新构建了等式 。 通过在存储、计算和网络层统一去重 ， 组织消除冗余处理 ， 降低成本 ， 获得移动工作负载、保护数据和扩展AI而不增加复杂性的敏捷性 。
VergeOS通过其基础设施操作系统体现了这种方法 ， 在存储、虚拟化和网络中原生嵌入去重 。 这展示了技术如何从常规功能演变为真正的基础设施级战略 。
对于面临VMware转型、AI增长和预算压力的IT领导者 ， 这是重新考虑去重的时刻 。 那些将去重视为战略能力的人将运行更快、更精简、更有弹性的基础设施 。
Q&A
Q1：基础设施级去重与传统存储去重有什么区别？
A：基础设施级去重是从平台设计之初就内置的原生能力 ， 跨越存储、虚拟化和网络层统一操作 ， 使用单一元数据模型 。 而传统存储去重只在存储阵列内部工作 ， 各系统间互不通信 ， 数据跨系统时需要重新水化和再次去重 。
Q2：基础设施级去重能带来哪些具体的性能提升？
A：基础设施级去重可以减少40-60%的I/O操作 ， 缓存命中率提高2-3倍 ， 备份窗口收缩60-80% ， 恢复速度比传统方法快5-10倍 。 同时消除30-50%的CPU和RAM开销 ， 广域网复制流量减少70-90% 。
Q3：为什么基础设施级去重技术很少见？
【存储去重已成常规功能，基础设施级应用才是战略优势】A：主要因为供应商构建平台时采用了分离的存储、虚拟化和网络架构 。 后来添加统一去重需要重新设计核心架构而不是简单更新 。 技术债务、客户对向后兼容性的需求以及产品团队间的协调挑战都阻碍了这种转变 。
推荐阅读
- 美方也没料到，大陆存储芯片，要100%使用国产设备了
- 参数疯狂阉割！品牌从你口袋疯狂拿钱，看样子已成事实
- 东芯股份：存储产品价格回升，车规产品多款量产
- 引发世界存储革命，这颗芯片55岁！
- AI存储“黑科技”登场：从显存到闪存，企业成本如何骤降九成？
- 苹果iphone17别乱买，国行是中国制造，美版已成印度特供了
- 机械革命耀世16Ultra评测 主流性能做工精致 长江存储PC450亮点多
- 存储芯片价格又涨了，但这次，美日韩再也不能收割中国市场了
- 国产手机也要出 2TB 存储版本了？
- 存储芯片大涨价，但这次，美日韩却收割不了中国市场了