第一十二章 数据抽取、转换和加载
第六节 ETL的备份与恢复
12.6.1 数据的备份
1.ODS 数据的备份
默认ODS采用的是Oracle数据库,它的备份设计如下:
1)可以采用全量备份的形式,使用Oracle的导出工具,全库导出数据进行备份。备份的周期可以根据需要灵活变动,一般是每周进行一次备份,保留一个月左右的备份数据。
2)可以采用增量备份的形式,导出Oracle的日志增量文件进行备份。通常需要保留近两个月的备份数据。
2.数据仓库的数据备份
默认数据仓库采用的是Oracle数据库,它的备份设计如下:
1)可以采用全量备份的形式,使用Oracle的导出工具,全库导出数据进行备份。由于数据仓库数据量巨大,可以2~3周进行一次全量备份,通常保存一个月左右的备份数据。
2)可以采用增量备份的形式,导出Oracle的日志增量文件进行备份。通常保存近两个月的备份数据。
3.数据集市的数据备份
默认数据集市的数据存放到Oracle数据库中,多维数据采用Cognos OLAP 技术。
1)对于数据集市数据可以采用全量备份的形式,使用Oracle的导出工具,全库导出数据进行备份。通常保存一个月左右的备份数据。如果采用增量备份的形式,导出Oracle的日志增量文件进行备份,通常保存近两个月的备份数据。
2)因为Cognos OLAP模型存放在固定路径文件夹下,并没有太多的数据量,每天进行全量备份即可。
12.6.2 数据备份存放的介质以及目录结构
1)ODS 数据全量可以备份到磁带库或者是RAID阵列介质上,然后在介质上建立两个文件夹,例如/back/ods/beifen1、/back/ods/beifen2,保留两次最近的全量备份。
2)ODS 数据增量可以备份到RAID阵列介质上,然后在介质上建立文件夹,例如/back/ods/ increment,将增量文件保存到该目录下。
3)数据仓库数据全量可以备份到磁带库或者是RAID阵列介质上,然后在介质上建立两个文件夹,例如/back/dw/beifen1、/back/dw/beifen2,保留两次最近的全量备份。
4)数据仓库数据增量可以备份到RAID阵列介质上,然后在介质上建立文件夹,例如/back/dw/ increment,将增量文件保存到该目录下。
5)数据集市数据全量可以备份到磁带库或者是RAID阵列介质上,然后在介质上建立两个文件夹,例如/back/dm/beifen1、/back/dm/beifen2,保留两次最近的全量备份。
6)数据集市数据增量可以备份到RAID阵列介质上,然后在介质上建立文件夹,例如/back/dm/ increment,将增量文件保存到该目录下。
7)多维OLAP模型可以存储到RAID阵列介质上,建立多个文件夹以保存最近的备份。
8)知识库(含Cognos知识库、ETL知识库、应用程序知识库)可以备份到RAID阵列介质上。一般采取的方式是全量备份,将不同的知识库保存到不同的目录下。
12.6.3 ETL程序的备份
默认ETL工具是PowerCenter,ETL程序的备份包括开发人员编写的程序代码(包括从业务系统到ODS数据缓冲区的ETL程序,从ODS数据缓冲区到ODS统一信息视图区的ETL程序,从ODS统一信息视图区到数据仓库的ETL程序,从数据仓库到数据集市的ETL程序),各种参数的配置,ETL工具的软件等。
12.6.4 数据的恢复方案
(1)操作系统的恢复(见图12-36)
图12-36 操作系统的恢复
(2)ODS 数据的恢复(见图12-37)
a)ODS数据的恢复方法(一)
b)ODS数据的恢复方法(二)
图12-37 ODS数据的恢复
(3)数据仓库和数据集市的恢复(见图12-38)
a) 数据仓库和数据集市的恢复方法一
b)数据仓库和数据集市的恢复方法二
图12-38 数据仓库和数据集市的恢复
(4)知识库的恢复(见图12-39)
图12-39 知识库的恢复
(5)Cognos OLAP 模型和运行程序、运行数据的恢复(见图12-40)
图12-40 Cognos OLAP 模型和运行程序、运行数据的恢复