加入收藏 | 设为首页 | 会员中心 | 我要投稿 济南站长网 (https://www.0531zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长学院 > MsSql教程 > 正文

SSSIS:在 SSIS 中使用 Multicast Task 将数据源数据同时写入多个目标表

发布时间:2016-08-16 15:45:13 所属栏目:MsSql教程 来源:站长网
导读:在 SSIS 中使用 Multicast Task 将数据源数据同时写入多个目标表,以及写入Audit 与增量处理信息 在 SSIS Data Flow 中有一个 Multicast 组件,它的作用和 Merg
在 SSIS 中使用 Multicast Task 将数据源数据同时写入多个目标表,以及写入Audit 与增量处理信息

在 SSIS Data Flow 中有一个 Multicast 组件,它的作用和 Merge, Merge Join 或者 Union All 等合并数据流组件对比起来作用正好相反,非常直观,它可以将一个数据流平行分开成为多个数据流供 下游其它 Data Flow 组件使用。

SSSIS:在 SSIS 中使用 Multicast Task 将数据源数据同时写入多个目标表

首先描述一下使用 Multicast Task 的几种情形  -

第一种,从同一个数据源中取出一部分数据直接放到 A 表中,一部分数据直接放到 B 表中。我曾经 遇到一个370多列的一个文件,这370列的文件可以分出列数不等的7,8 张表。我最开始的做法是先将这 个文件的数据 Load 到一个大表中,然后再从大表抽取不同的列到小表中,这样相当于形成了二次加载 ,效率不高,后来使用 Multicast 就可以一次性直接将 370 列宽的文件分散到不同的表中。

第二种,从数据源 A 抽取数据到 B,B 每次都会先 Truncate 一下,但是又需要备份一下每次从 A 抽取的数据,这个时候也可以使用 Multicast。在每次从 A 抽取数据的时候,通过 Multicast 使数据 在导向 B 的同时也导向到 B 的备份表。

第三种,类似于第二种,不同的是没有备份表,但是需要保留加载的一些 Audit 信息数据。比如, 从 Source 抽取数据到 Staging 的时候,同时需要记录一下抽取的行数,以及用来标示这批 Staging 数据中最大的时间戳,表名和列的名称。这样的话,下次加载数据到 Staging 的时候就只选择加载新增 的 Source 数据,也就是上一批最大时间戳之后的新数据。

当然,同一种问题可能有不同的解决的方式,欢迎大家补充!

下面的示例演示一下第一种和第三种情形。

第一种 - 分散同一个 Source 表数据到多个目标表中

先从 TSQL2012 中抽取一部分测试的数据 (TSQL2012 是 Microsoft SQL Server 2012 High- Performance T-SQL Using Window Function 一书中的示例数据库),我们的 Source 表就是 SalesOrderSource

USE BIWORK_SSIS
GO
    
IF OBJECT_ID('dbo.SalesOrderSource','U') IS NOT NULL
DROP TABLE dbo.SalesOrderSource
GO
    
SELECT *
INTO dbo.SalesOrderSource
FROM TSQL2012.Sales.Orders
WHERE orderdate < '2006-08-01'
    
SELECT * FROM dbo.SalesOrderSource

SSSIS:在 SSIS 中使用 Multicast Task 将数据源数据同时写入多个目标表

(编辑:济南站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读