informatica,informatica工具

http://www.itjxue.com  2023-01-17 06:03  来源:未知  点击次数: 

Informatica 两种隐性的数据错误

使用 Informatica 做 ETL 的时候,可能会遇到这两种隐性的数据错误(之所以说隐性,因为 monitor 日志没有说明具体什么错误,需要根据经验判断):

在第一种情况中, workflow 会自动跳过超出长度的数据继续运行 ,并且最终 workflow 状态为 succeeded。比如有 20 条字符串数据,设定长度为 5,那么如果其中一条数据为“Hello World”,长度超过 5,最终抽取的数据条数为 19,这条超出长度的数据就会被 reject。这种情况大部分时候可以通过 monitor 进行监控,如下图,前面例子中应该显示的 applied rows 应该为 19,rejected rows 为 1:

至于第二种情况,workflow 最终的状态是 failed,但 monitor 日志会显示如下:

也就是说,突然报错,也没有很详细的错误提示。更神奇的是,前面居然运行成功那么多数据了。

遇到上面这种情况时,就可以考虑数据类型的错误了。

Informatica 遇到数据类型不一致时,会自动停止工作流并且报错 。比如说有 20 条数据,设定目标表的数据类型为 int 型,在源表中前面 15 条都是 int 型数据,但是第 16 条数据为 99.9,不是 int 型,那么最终会成功运行 15 条数据然后报错。monitor 目标表运行状态中 applied rows 为 15,rejected rows 为 0。

Informatica基础系列(七)——常见问题、注意事项

目录:

正文:

这一篇分享 Infa 开发中一些常见的问题以及注意事项,内容比较零碎,有的内容也不再详细介绍,了解有这个功能,开发时可以再深入研究。

Infa workflow 可以设置定时任务 schedule(db 中称 job),以什么样的频率重复执行,什么时候开始,什么时候结束。这样任务可以自动跑,不需要人工干预。schedule 可以做成可复用,但使用范围仅限于当前的 folder。下面看看 schedule 怎么建的,在 workflow 视图,按以下步骤,如下图所示:

当想暂停 schedule 时,可以勾选 "Run on demand"。这部分很简单,不做过多的解释。做好的 schedule 需要设置在 workflow,设置方法如下图所示:

也可以不选择可重用的 schedule,可以勾选 "Non Resuable",设置方法跟 Resuable 的 schedule 是一样的。

在定时执行 workflow 时有一个场景是 schedule 解决不了的,假如我们想在一天之中的某些时间段执行,在另外的时间段不执行,有什么办法?其实,可以在 workflow 利用系统的变量做,点击 session 之间的 线 ,如下图所示:

可以猜到,这个 session 在上午 7 点以后执行,根据系统的参数可以做些其他灵活的控制。

source、target 开始导入后,可能会根据需求调整结构,如果结构调整的比较大,一般重新导入覆盖就可以了。如果调整不大,其实可以手动调整的,比如新增了字段,修改了字段长度,前提是保证与 db 的 table 结构一致,如下图所示:

在设置了 schedule 的 workflow 运行过程中会出现 workflow 出现错误,这时候设置的 scheduled 状态就会变成 unscheduled,也就是不管用了。其实可以采取一种迂回的方法来控制,即用另一个基本不会跑失败的 workflow 去控制实际的业务 workflow,这个控制的 workflow 的作用是启动业务 workflow。说了这么多,不如看看示例,先看下怎么建这个控制 workflow,如下图所示:

首先,拖一个 cmd 组件进来,我们要用它写一段命令,去启动另一个 workflow,编辑 cmd 组件,如下图所示:

可以看到这个 session 将通过 pmcmd 启动业务 workflow,我们再对这个控制 workflow 设置一个 schedule,因为这个 workflow 失败的可能性基本为零,所以可以保证 workflow 的不间断性。

Infa 很多东西都可以做成可复用的,比如 transformation、mapping、session、workflow 等,比如下面是一个 lookup 的复用组件(属于 transformation):

mapping 的复用,称为 maplet,如下图所示:

可以看到这个 maplet 传入了一个参数,通过一个 lookup 组件,输出了两个参数值。开发不同的东西需要切换到不同的视图下,注意看截图中上面的小按钮。workflow 也可以做成 worklet,就是把 workflow 拆成一个个小的,worklet 的开发视图如下图所示:

Infa workflow 的监控还是很有必要,执行失败后如果能推送出来(邮件),就可以及时解决。基本思路是:主要通过记录 session 的执行状况来做,session 可以在执行成功、失败后执行一段脚本,可以将 session 的运行结果记录下来,插入到 Infa 的日志表。session 的设置方法,如下图所示:

其中,$PMFolderName、PMWorkflowName、PMWorkflowRunId、PMSessionName 一看就知道;0 代表成功(自定义),Events__c 是 target 的名字;@numAffectedRows、@numAppliedRows、@numRejectedRows 分别是对 target 的影响记录数、采用记录数、拒绝记录数。

到此为止,Informatica 基础系列就完结了,共 9 篇,每一篇文章都配置了目录,方便系统阅读,希望对您有益,谢谢关注!

At 2017.11.10

informatica怎么调成英文界面

方法如下:

控制面板-按类别显示-时钟、语言和区域下更改语言显示-改成英语,重新打开informatica,就行。

Informatica简介

① Repository manager 主要用来维护资料库的目录,对象,建完对象可以创建demo的folder。

② Administration Console是完全基于web的,管理所有的节点,服务,在里面包括资料库的一些用户,权限等信息。

③ Designer主要用来设计mapping。Mapping是informatica的一个映射,也就是说是ETL的一个规范,包括对源,目标,过程的设计。

④ workflow主要用于将mapping实例化,也就是设计一个session,如果session很多的话需要将它们设计成一个串行或者并行的过程,它们组成的session就叫做workflow,即工作流。

⑤ workflow monitor用来监控、执行workflow。

informatica 知识库是干什么用的

Informatica是一种先进的独立企业数据集成软件。

InformaticaPowercenter的概念

InformaticaPowerCenter是Informatica公司开发的世界级的企业数据集成平台,也是业界领先的ETL工具。InformaticaPowerCente?r使用户能够方便地从异构的已有系统和数据源中抽取数据,用来建立、部署、管理企业的数据仓库,从而帮助企业做出快速、正确的决策。此产品为满足企业级要求而设计,可以提供企业部门的数据和电子商务数据源之间的集成,如XML,网站日志,关系型数据,主机和遗留系统等数据源。此平台性能可以满足企业分析最严格的要求。

InformaticaPowerCenter是建立可伸缩和可扩展的Informatica数据集成平台的核心和基础。InformaticaPowerCenter可以提供对广泛的应用和数据源的支持,包括对ERP系统的支持(Oracle, PeopleSoft, SAP),对CRM系统的支持(Siebel),对电子商务数据的支持(XML, MQ Series),遗留系统,及主机数据。InformaticaPowerCenter是最突出的分析性数据集成平台。?

InformaticaPowerCenter是一个可以使大的企业或组织能够按其复杂的业务信息需求,读取、转换、集成遗留系统、关系型ERP,CRM,消息信息和电子商务数据的数据集成平台。

PowerCenter 数据的整合转换引擎是基于元数据驱动的,所有的元数据都存在 Repository(知识库),该知识库可以创建在所有的主流数据库中,充分体现了它的元数据的开放性。

informatica失败原因8229

您好,您是想问informatica失败原因8229是什么吗?informatica失败原因8229是因为数据源没有数据;数据源不对。可以修改数据源重启informatica模块解决。

(责任编辑:IT教学网)

更多

推荐Flash actionscript文章