免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 6883 | 回复: 22
打印 上一主题 下一主题

informix数据迁移--表卸载问题 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2009-05-12 15:54 |只看该作者 |倒序浏览
在数据迁移时选取unload/load工具进行数据卸装.
但,当单表数据量过大时,使用load装载会遇到临时表空间不足的问题.装载被终止.例如,表记录6000W,unload成一个20G的文件.
使用文件拆分的方法可以将单个文件拆分成多个文件,再进行load可以解决该问题.但在分拆时会有数据格式的问题,且有大量的表需要迁移.该方法效率不高,暂时不考虑.
另外,可以在unload中加入限制条件,将单个表按照条件unload成多个文件,再进行load.例如以时间为单位.编写一个稍微复杂的程序可以完成该功能,实现时需考虑起始时间、时间粒度等。关键在于我暂时只想写点简单的程序。

所以想咨询各位的是,有没有更方便的方法或工具,在数据卸载时以行为单位导出。例如:每100W行形成一个文件。

论坛徽章:
11
金牛座
日期:2015-03-19 16:56:22数据库技术版块每日发帖之星
日期:2016-08-02 06:20:00数据库技术版块每日发帖之星
日期:2016-04-24 06:20:00数据库技术版块每日发帖之星
日期:2016-04-13 06:20:00IT运维版块每日发帖之星
日期:2016-04-13 06:20:00数据库技术版块每日发帖之星
日期:2016-02-03 06:20:00数据库技术版块每日发帖之星
日期:2015-08-06 06:20:00季节之章:春
日期:2015-03-27 15:54:57羊年新春福章
日期:2015-03-27 15:54:37戌狗
日期:2015-03-19 16:56:41数据库技术版块每日发帖之星
日期:2016-08-18 06:20:00
2 [报告]
发表于 2009-05-12 15:59 |只看该作者

回复 #1 8213452 的帖子

使用onpload工具可以很容易实现这样的功能~~

http://blog.chinaunix.net/u/28641/showart_1677913.html

论坛徽章:
0
3 [报告]
发表于 2009-05-12 16:09 |只看该作者
这是个好建议,可行

论坛徽章:
0
4 [报告]
发表于 2009-05-15 16:03 |只看该作者
有谁做过类似的工作,共享些经验,谢谢

论坛徽章:
0
5 [报告]
发表于 2009-05-16 18:08 |只看该作者
用onpladm。
我曾经做过的案例中,3000w行的数据,大概在15分钟左右完成。作为比较,dbload/unload/load之类的,大概要4-5小时。

论坛徽章:
0
6 [报告]
发表于 2009-05-19 10:45 |只看该作者
onpladm这个工具资料太少了,即便是IBM所给的手册里也是不全。以创建query为例,里面居然没有详细其SQL格式,以至于我根本就不知道里面的SQL是要加双引号的。后来看别人的例子才知道。

现在遇到一个问题,找了半天也没找到资料,求教于诸位
在执行job时运行的是默认的query,而不是我定义的query。如何执行自定义的query。
使用onpladm list query -p proj 显示有两个query
一个是和job名称相同
一个是手工创建的

另外想咨询一下,创建的project和job以什么方式保存,可不可以直接进行修改?例如:文件方式的话可以修改文件,数据库方式可以update,特殊格式的话那就算了。

论坛徽章:
11
金牛座
日期:2015-03-19 16:56:22数据库技术版块每日发帖之星
日期:2016-08-02 06:20:00数据库技术版块每日发帖之星
日期:2016-04-24 06:20:00数据库技术版块每日发帖之星
日期:2016-04-13 06:20:00IT运维版块每日发帖之星
日期:2016-04-13 06:20:00数据库技术版块每日发帖之星
日期:2016-02-03 06:20:00数据库技术版块每日发帖之星
日期:2015-08-06 06:20:00季节之章:春
日期:2015-03-27 15:54:57羊年新春福章
日期:2015-03-27 15:54:37戌狗
日期:2015-03-19 16:56:41数据库技术版块每日发帖之星
日期:2016-08-18 06:20:00
7 [报告]
发表于 2009-05-19 10:47 |只看该作者

回复 #6 8213452 的帖子

保存在一个名为onpload的库里~~dbaccess可以看到~~里面的表名与onpladm种类名类似...

可更改~~

论坛徽章:
0
8 [报告]
发表于 2009-05-19 10:53 |只看该作者
谢谢啊!难怪我运行dbaccess的时候总感觉多了点什么。

论坛徽章:
0
9 [报告]
发表于 2009-05-19 11:32 |只看该作者
text数据类型,unload出来改一下,再load就更新了。不错不错,速度很快,这个工具还是很好用的。可以批量作业。

论坛徽章:
0
10 [报告]
发表于 2009-05-26 15:21 |只看该作者
问题来了!

在使用onpladm导回数据时遇到问题。试了几个大表,装载完记录时停止不动了。应该是在做enable index之类的操作。因为表记录条数有1亿多,且rowsize比较大,刚开始以为enable index耗时较大就一直等着。等了两天也没响应,应该是有问题了。试了一些小一点的表,均可正常完成导入。
尝试修改load模式,将onpload库中session表中对应的runmode由129改为7(express mode改为deluxe mode),试了一下.run job报错了。
大家还有什么好的建议吗?
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP