企业数据上云最佳实践( 五 )


企业数据上云最佳实践


115科技数据迁移方案——在线迁移和离线迁移组合拳
其中,佛山、东莞机房采用了300Gb专线互连的传输方式,建立边界路由器和路由器接口来连接115的数据中心与阿里云VPC,采用400Gb/s的分布式在线数据传输服务OSSImport,将115的数据加密迁移到对象存储OSS中,并对每个文件做端到端的SHA-1校验,避免出现数据不可用或者不一致的情况 。为了提升传输效率,阿里云存储研发团队在10天内设计了11个功能,包括SHA-1校验边算边传、WORM(一写多读禁止覆盖))、HEIF与矢量图片转换支持等特性,用于承载115科技的非结构化数据如文档、图片、视频的业务[6] 。
梅州机房使用闪电立方,每套闪电立方可容纳480TB数据,在数据安全方面满足企业严格的要求 。可在2分钟内就完成了2TB数据的安全传输过程,每块硬盘专项分离保护,并实施专人专车的运输保障,让离线传输同样专业、高效、安全 。有了闪电立方的快速离线迁移能力,115科技的上云时长从预计的4个月大幅缩短到了45天 。
经过严格校验无一错误 。115科技迁移上云,是中国互联网史上数据规模最大的迁移项目,成为业界标杆 。
某互联网公司无缝数据迁移场景客户 A 为某互联网服务公司,主要业务架设于某云计算服务提供商 B 处,为其用户提供图片、视频等在线编辑服务 。客户 A 存储在 B 处的历史数据约有1亿个文件,共320TB 左右大小,每天新增约20GB 数据,B 处的数据存储服务和 OSS 的访问带宽均为250MByte/s,业务所需带宽最高为50MByte/s 。
现因公司发展需要,考虑将业务切换至 OSS 上 。切换时需将原始数据及新增的数据迁移至 OSS,因历史数据较多,为保证公司业务正常进行,此次业务切换需做到如下要求 。
  • 迁移中,需保证业务的正常进行,不能影响其用户正常读取数据 。
  • 迁移完成后,需保证数据完整,业务可无缝切换 。
迁移方案根据客户需求及背景信息,制定了如下迁移方案 。
  1. 通过阿里云在线迁移服务将客户的存量数据从云服务迁移到 OSS,迁移完成前,客户业务不做变动 。
  2. 存量数据迁移完成后,通过 OSS 的镜像回源功能让用户可以访问到暂时未迁移至 OSS 的增量数据 。
  3. 客户将业务切换至 OSS 。
  4. 业务切换完成后,通过在线迁移服务将用户的增量数据也迁移至 OSS 。
  5. 数据全部迁移完成并检查无误后,删除源端数据 。
步骤一:迁移存量数据
  1. 创建用于存储迁移数据的 OSS Bucket,详细步骤请参考创建存储空间 。
  2. 创建用于迁移的子账号 AccessKey 。
    • 获取 B 存储服务子账号的 AccessKey:登录云服务控制台获取访问密钥(AccessKey) 。
    • 获取阿里云 OSS子账号的 AccessKey:请参考创建 RAM 子账号并授予相关权限 。
创建数据地址并创建全量迁移任务 。详细配置步骤请参见在线迁移服务对应教程的迁移实施文档 。其中,迁移任务的任务配置如下所示 。
企业数据上云最佳实践


步骤二:配置镜像回源迁移存量数据用时约25天,数据迁移过程中,源站还在不断产生新的数据 。为了不中断业务,做到业务无缝切换,还需要配置镜像回源功能 。当用户请求的文件在 OSS 中没有找到时,OSS会自动到源站抓取对应文件保存到 OSS,并将内容直接返回给用户 。
  1. 登录 OSS 管理控制台 。

    推荐阅读