归档存储(冷存储)数据迁移

2026-06-28 02:36:42

登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 在左侧导航栏单击“迁移工作流 NEW”,进入“迁移工作流”页面。 在“工作流列表”页签,单击“创建迁移工作流”按钮,弹出“请选择对应创建类型执行工作流”窗口。 选择通用存储迁移模板,单击“确定”按钮,进行工作流配置。 根据表1,配置基础信息参数。

表1 基础信息参数配置说明 参数

说明

名称

用户自定义。

目标区域

在下拉菜单中选择目的端桶所在区域。

描述

用户自定义。

集群

选择在完成准备工作时,创建的集群作为迁移集群。

根据表2、表3,配置源端、目的端信息。

表2 源端信息参数说明 参数

说明

数据站点类型

根据实际的源端云平台选择。

凭证

单击下拉选择凭证。如未提前添加凭证,请单击“新增凭证”,填写凭证名称、选择认证方式、输入AK、SK,单击“校验并保存”,完成添加。

输入源端需要迁移的桶名。

说明: 不支持源端路径为软链接路径的迁移。如果源端包含软链接,请进行如下处理: 填写实际的文件路径。 迁移完成后,手动在目的端创建相应的软链接。 对象存储终端地址

输入源端桶所在区域的终端节点(Endpoint)信息。

例如:站点类型选择阿里云OSS,源端桶所在区域为华东1(杭州),则输入“oss-cn-hangzhou.aliyuncs.com”。

桶类型

数据站点类型为华为云OBS时选择。根据桶的实际类型选择。桶类型可以通过查看桶的基本信息获取。

appID

数据站点类型为腾讯云COS时填写。填写腾讯云APPID。

说明: 您可以在腾讯云控制台账号信息页面查看APPID。

表3 目的端信息参数说明 参数

说明

数据站点类型

选择“华为云OBS”。

凭证

单击下拉选择凭证。如未提前添加凭证,请单击“新增凭证”,填写凭证名称、选择认证方式、输入AK、SK,单击“校验并保存”,完成添加。

选择创建的目的端OBS桶。

说明: 只支持标准存储和低频访问存储。

桶类型

根据桶的实际类型选择。桶类型可以通过查看桶的基本信息获取。

对象存储终端地址

输入目的端桶所在区域的终端节点(Endpoint)信息。

例如:目的端桶所在区域为华北-北京四,则输入“obs.cn-north-4.myhuaweicloud.com”。

说明: 可在OBS桶的基本信息查看。

指定前缀

可选参数。将对象迁移到指定前缀,例如:源端对象路径为/A/B/C.txt,目的端前缀配置为/D,迁移后目的端对象路径为/D/A/B/C.txt。详细介绍请参考

设置“保存到指定前缀”参数中的功能介绍。

根据表4,进行迁移配置。

表4 迁移配置参数说明 参数

子参数

说明

迁移任务类型

全量迁移

迁移源端桶/文件夹内的全部数据。

列表迁移

通过列表文件过滤迁移,只迁移列表文件中的对象。

在“列表路径”输入存放在目的端桶的对象列表文件路径。对象列表文件的约束与限制如下:

目的端为OBS 对象列表文件大小不能超过30MB。 对象列表文件类型必须为.txt类型,并且元数据ContentType只能为text/plain。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件每行只能包含一个对象名称,且对象名称使用URL Encode编码。 对象列表文件行长度不超过16KB,否则迁移失败。 对象列表文件元数据中不能设置ContentEncoding,否则迁移失败。 对象列表文件行数不超过10,000行。 目的端为NAS 对象列表文件大小不能超过30MB。 对象列表文件类型必须为.txt类型。 对象列表文件必须是UTF-8无BOM格式编码格式。 对象列表文件每行只能包含一个对象名称,且对象名称使用URL Encode编码。 对象列表文件行长度不超过16KB,否则迁移失败。 对象列表文件行数不超过10,000行。 注意: 列表迁移源端为NAS时注意事项:

如果文件存储服务地址是以冒号加斜杠(:/)结尾,请确保在列表文件中的路径是相对于挂载地址的绝对路径。 例如,文件存储服务地址为"192.1.1.1:/",挂载地址为"/mnt/turbo",则填写"/mnt/turbo"下的绝对路径。

如果要使用列表迁移的形式迁移"test2.log"文件,则应在列表中填写路径:/mgc/filter_test/test2.log

如果文件存储服务地址在冒号加斜杠(:/)之后还包含其他路径,配置列表路径单时,除了填写挂载地址下的绝对路径外,还要加上文件存储服务地址:/之后的部分。 例如,文件存储服务地址为"192.1.1.1:/mgc-test",挂载地址为"/mnt/turbo",则填写"mgc-test+/mnt/turbo"下的绝对路径。

如果要使用列表迁移的形式迁移迁移"test2"文件,则应在列表中填写路径:/mgc-test/autotest/filter_test/test2。

前缀迁移

仅支持云平台数据类型。

在“前缀路径”输入对象名称或者名称前缀,则只迁移与输入对象名称或名称前缀一致的对象。

须知: 输入对象前缀路径时,如果对象文件在源端桶的根目录下,则直接添加前缀;如果对象文件存在目录路径,则需要在对象前缀前添加对象文件所在的目录路径。格式为:文件夹/对象前缀。 多个前缀之间用英文逗号分隔。 列举方式

说明: 全量迁移和前缀迁移时选择

串行列举

源端非并行文件系统(PFS)桶的默认列举方式。

并行列举

源端并行文件系统(PFS)桶的默认列举方式,非并行文件系统(PFS)桶选择该列举形式可能会导致列举性能降低。

并发子任务数

-

用户自定义。配置的数目不能超过可用迁移节点数x10。例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。

同名覆盖方式

说明: 推荐采用与一致性校验策略相同的同名覆盖方式,以避免在暂停重启或失败重试等场景下出现数据未迁移或数据重复迁移的问题。

不覆盖

对于源端和目的端存在的同名文件,跳过源端文件,保留目的端文件。

警告: 首次迁移时选择“不覆盖”,不会迁移源端中父文件夹的属性到目的端,可能会造成文件夹属性不完整。为规避这一风险,首次迁移时请谨慎使用“不覆盖”策略。 选择“不覆盖”策略进行数据迁移时,如果迁移任务因错误中断后重启或从暂停状态恢复,可能会造成部分数据未完全迁移,而任务显示成功的现象,影响数据的完整性。为规避这一风险,请谨慎使用“不覆盖”策略。 直接覆盖

对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。

对象大小与最后修改时间覆盖

对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较文件大小,大小不同则源端覆盖目的端文件;如果最后修改时间和大小都相同,则跳过; 对于文件夹迁移:当文件迁移完成后再比对文件夹大写、时间和权限,如果文件夹大小不同/时间不相同/权限不相同,则源端覆盖目的端文件夹; 说明: 对于空文件夹,覆盖策略与文件相同。

CRC64对比覆盖

迁移前,对于源端和目的端存在的同名对象,对比源端和目的端对象元数据中的CRC64值,相同则跳过,不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间对比覆盖策略执行。 说明: 目前仅支持华为云、阿里云、腾讯云。 目的端OBS桶需开启CRC64特性白名单。 一致性校验

对象大小与最后修改时间校验

默认配置,通过对比源端和目的端对象大小与最后修改时间,判断迁移后数据是否完整。

CRC64校验

通过对比源端和目的端对象元数据中CRC64值,判断迁移后数据是否完整。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间校验策略。 说明: 目前仅支持华为云、阿里云和腾讯云。 目的端OBS桶需开启CRC64特性白名单。 迁移元数据

-

选择是否迁移元数据。

勾选,则迁移源端对象元数据。 不勾选时,仅迁移Content-Type和Content-Encoding元数据。如果源端存储服务提供商未提供该元数据(如优刻得未提供Content-Encoding),则该元数据将不会被迁移。 清理集群

-

选择工作流是否创建清理集群步骤。

勾选,迁移工作流将自动创建清理集群步骤,您还可以继续配置是否删除NAT网关、安全组、VPCEP服务等。 不勾选,迁移工作流不创建清理集群步骤,工作流创建30天后系统会自动清除集群。

单击高级选项(可选)前的按钮,展开高级选项,勾选“解冻归档数据”。其余功能根据实际需求选择并配置,各功能的说明请参见表5。

表5 高级选项功能说明 功能

说明

目的端存储类型

选择迁移到华为云OBS后,对象的存储类型。存储策略说明请参见存储类型介绍。

说明: 归档和深度归档存储类别不支持CRC64校验。即使一致性校验策略选择为CRC64校验,系统也会自动采用对象大小与最后修改时间的校验策略来执行一致性校验。

KMS加密

不勾选,迁移后对象状态与目的端桶级服务端加密状态保持一致。 勾选,所有对象在迁移到OBS桶后都将被加密存储。 说明: 使用KMS服务端加密可能会降低迁移速率10%左右。 目的端桶所在区域支持KMS加密时,此参数才可用。 解冻归档数据

不勾选:如果遇到归档类型对象,则直接判定该对象迁移失败并跳过,继续迁移其余对象。 勾选:如果遇到归档类型对象,则自动解冻该对象并进行迁移。如果解冻失败,则判定该对象迁移失败并跳过,继续迁移其余对象。 说明: 在数据迁移时,系统会对列举出的所有数据发起取回操作,源端云服务商会收取相应的API调用费用和存储费用。 源端为阿里云OSS:当源端对象的存储类型是深度冷归档存储时,无法使用MgC提供的解冻归档数据功能直接迁移,需要在源端先手动解冻后再迁移。 源端为微软云BLOB:解冻后不会自动恢复归档状态,在迁移完成后需要手动在源端恢复为归档。 过滤配置

通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见过滤策略说明。

SMN消息发送配置

选择是否使用SMN消息通知功能,该功能可以通知您迁移任务的结果。

不勾选,不接收SMN消息。 勾选,接收SMN消息。选择SMN主题,会向该主题的订阅者发送消息;选择消息发送语言;选择发送消息的触发条件,支持同时勾选。 流量控制

设置迁移任务在指定时段的最大流量带宽。

不勾选,不进行流量控制。 勾选,进行流量控制。分别设置“开始时间”、“结束时间”和“限速”数值。 例如:设置开始时间08:00、结束时间12:00、限速为20 MB/s,当迁移任务运行到(08:00~12:00)该时间段时,最大迁移速度将限制为20 MB/s。该时间段以外,迁移速度不做限制。 说明: 限速的数值范围:1~1048576 MB/s 。 最多可以创建5条记录。 时区时间以目的端Region的当地时间为准。 定时迁移

设置迁移任务在指定时间内迁移。

不勾选,手动启动/暂停迁移任务。 勾选,设置任务在指定时间范围内进行迁移,指定时间以外则暂停迁移。 例如:

设置开始时间08:00、结束时间12:00,则迁移任务会在每天早晨08:00至中午12:00该时间段进行迁移。该时间段以外,则迁移任务暂停。 设置开始时间12:00、结束时间08:00,则迁移任务会在每天中午12:00至次日早晨08:00该时间段进行迁移。该时间段以外,则迁移任务暂停。

工作流配置完成后,单击“下一步:确认并创建”按钮,进入确认并创建页面。 确认配置信息无误后,单击“确认创建工作流”,弹出启动工作流窗口,此时工作流已创建完成。

如果您希望立即开始迁移,则单击“确认”按钮,立即运行工作流。 如果您需要在标准工作流中添加阶段/步骤,则单击“取消”,此时迁移工作流状态为“等待中”,并未开始迁移。确定工作流步骤后,单击“运行”按钮,开始迁移。

在工作流详情页面,可以查看该存储迁移工作流的配置信息和资源迁移进度。还可以进行如下操作:

将鼠标移动到资源迁移进度条,在弹窗中可以查看该资源更多迁移信息。 当迁移步骤(进度条)到达需要手动确认的步骤时,您需要将鼠标移动到进度条上,并在弹出的窗口中单击步骤状态后的“确认”。只有完成这一操作,系统才会继续进行后续的迁移步骤。 在右上角单击“查看工作流概览”,进入概览页面,单击集群名称后的“管理”,右侧弹出集群详细信息页面。在这个页面上,您可以进行如下操作: 设置流量控制规则:您可以添加、编辑或删除流量控制规则,以确保集群内的流量按照您的需求进行管理。 节点管理:您可以根据实际需求,添加/删除迁移节点和列举节点,也可以对现有节点进行插件升级。

    Emails sent using Outlook Desktop results in Non-Delivery Report [0x80040305-0x00000000-0x00000000]
    三角洲全地图藏宝堆点位来了!让你挖宝不在迷茫!

    Copyright © 2022 摩洛哥世界杯_直播世界杯决赛 - dgaida.com All Rights Reserved.