java实时数据集成简介(2)

反向工程知识模块用于从源数据库中读取表和其他对象元数据。

日志记录知识模块记录单个表或视图或者一组一致的表或视图中的新数据和更改的数据。

加载知识模块用于从源数据库中有效地提取数据，并包括特定于数据库的适用的批量卸载工具。

检查知识模块用于检测源数据中的错误。

集成知识模块用于有效地将分段存储区中的数据转换为目标表，以便为给定数据库生成优化的本机 SQL。

服务知识模块可以将数据公布为 Web 服务。

知识模块还可以扩展，这样您可以添加 Oracle Data Integrator 当前未提供的功能。例如，采用一组现有的基于 Oracle 的知识模块并将其扩展为包括 Oracle 数据库 10g 中的 Oracle 数据泵功能将是一项相对简单的任务。

数据质量防火墙

如果您是负责加载数据仓库的人，那么不得不解决的一个问题是执行夜间加载的时间段越来越短。如果您的元数据包含大量在加载到数据仓库分段存储区之前无法检测的错误，时间就会变得格外紧张。

Oracle Data Integrator 利用了一种创新方法来解决该问题，即，使用检查知识模块在数据源处充当脏数据的“防火墙”，只允许符合业务规则的数据进入集成流程。要使用该方法有效地确保数据质量，您首先要在源对象上定义一个或多个约束，然后使用检查知识模块来识别不符合这些约束的所有行，并将它们复制到错误表中。

这样，在您以后从这些源对象中提取数据并在接口中使用它们时，可以确保仅加载了符合这些约束的数据，并且您可以单独处理错误表中的脏数据。

支持更改数据捕获

尽可能缩短数据加载时间的另一种有用的方法是，仅加载新的或经过更改的数据。幸运的话，应用程序设计人员会提供指示器和日期来帮助确定新的或经过更改的数据，但是大多数情况下，不会提供该信息，这需要您自己来确定感兴趣的数据。

由于这是一个相当普遍的要求，因此 Oracle Data Integrator 提供了日志记录知识模块来监视源数据库，并将新的和经过更改的记录复制到日志中，然后可以从日志中而非原始的源表中读取这些记录。如果 Oracle 之类的数据库供应商提供更改数据捕获的本机支持，就会使用这些功能;否则，日志记录知识模块会使用触发器之类的技术来捕获数据操作语言 (DML) 活动并使更改可用。在本文的后面部分，您将看到 Oracle Data Integrator 如何提供 Oracle 更改数据捕获功能，以及如何使用它以增量方式将数据库实时加载到其他数据库平台上。

Oracle Data Integrator 与 Oracle Warehouse Builder 比较

这时，Oracle Warehouse Builder 的常规用户可能想知道它与 Oracle Data Integrator 的关系，以及它在其他 Oracle 数据仓库技术产品中的适用情况。我们的回答是，Oracle Data Integrator 是一个工具，是对 Oracle Warehouse Builder 的补充，如果涉及在 Oracle 数据仓库中创建分段层和集成层的工作很重要或者涉及 SOA 或非 Oracle 数据库源，它将尤为有用。

对于构建 Oracle 数据仓库的人来说，Oracle Warehouse Builder 有一组功能强大的特定于 Oracle 的数据仓库功能，例如，支持关系和多维数据结构的建模、与 Oracle Business Intelligence Discoverer 集成、支持加载渐变维度，以及用于理解数据结构和语义的数据分析器。

从源数据的最初准备和集成一直到数据仓库的分段存储区，Oracle Data Integrator 都起着重要作用。

Oracle Data Integrator 可以集成和同步大量不同数据源(包括 Web 服务和基于事件的体系结构)中的数据，并且如上图所示，还可以为特定于 Oracle 数据

凌众科技专业提供服务器租用、服务器托管、企业邮局、虚拟主机等服务，公司网站：http://www.lingzhong.cn 为了给广大客户了解更多的技术信息，本技术文章收集来源于网络,凌众科技尊重文章作者的版权，如果有涉及你的版权有必要删除你的文章，请和我们联系。以上信息与文章正文是不可分割的一部分,如果您要转载本文章,请保留以上信息，谢谢!