Oracle SQL Loader数据导入

系统 1706 0
含序列,不能设direct=true):

1、SQL LOADER是ORACLE的数据加载工具,通常用来将操作系统文件迁移到ORACLE数据库中。SQL*LOADER是大型数据仓库选择使用的加载方法,因为它提供了最快速的途径(DIRECT,PARALLEL)。

它使用的命令为:在NT下,SQL LOADER的命令为SQLLDR,在UNIX下则为sqlldr/sqlload。

2、一般用法

sqlldr scott/tiger control=control_file.ctl log=logFile.log direct=true

其它参数则在输入sqlldr命令时出现:

用法: SQLLDR keyword=value [,keyword=value,...]

有效的关键字:

    userid -- ORACLE username/password
   control -- Control file name
       log -- Log file name
       bad -- Bad file name
      data -- Data file name
      discard -- Discard file name
      discardmax -- Number of discards to allow        (全部默认)
      skip -- Number of logical records to skip (默认0)
      load -- Number of logical records to load (全部默认)
     errors -- Number of errors to allow          (默认50)
      rows -- Number of rows in conventional path bind array or between direct path data saves(默认: 常规路径 64, 所有直接路径)
bindsize -- Size of conventional path bind array in bytes(默认256000)
    silent -- Suppress messages during run (header,feedback,errors,discards,partitions)
    direct -- use direct path                    (默认FALSE)
    parfile -- parameter file: name of file that contains parameter specifications
   parallel -- do parallel load                   (默认FALSE)
      file -- File to allocate extents from
skip_unusable_indexes -- disallow/allow unusable indexes or index partitions(默认FALSE)
   skip_index_maintenance -- do not maintain indexes, mark affected indexes as unusable(默认FALSE)
   readsize -- Size of Read buffer                (默认1048576)
   external_table -- use external table for load; NOT_USED, GENERATE_ONLY, EXECUTE(默认NOT_USED)
   columnarrayrows -- Number of rows for direct path column array(默认5000)
   streamsize -- Size of direct path stream buffer in bytes(默认256000)
   multithreading -- use multithreading in direct path
   resumable -- enable or disable resumable for current session(默认FALSE)
resumable_name -- text string to help identify resumable statement
resumable_timeout -- wait time (in seconds) for RESUMABLE(默认7200)
date_cache -- size (in entries) of date conversion cache(默认1000)

PLEASE NOTE: 命令行参数可以由位置或关键字指定。前者的例子是 'sqlload scott/tiger foo'; 后一种情况的一个示例是 'sqlldr control=foo
userid=scott/tiger'.位置指定参数的时间必须早于但不可迟于由关键字指定的参数。例如,
允许 'sqlldr scott/tiger control=foo logfile=log', 但是
不允许 'sqlldr scott/tiger control=foo log', 即使
参数 'log' 的位置正确。

3、控制文件制定

LOAD DATA
INFILE 'input_File.csv’
INTO TABLE tableName
FIELDS TERMINATED BY ","

(field1,field2,field3,field4)

解释:

infile 指数据源文件 这里我们省略了默认的 discardfile   result.dsc   badfile   result.bad   
into   table   tableName 默认是INSERT,也可以 APPEND into   table   tableName 为追加方式,或REPLACE  

注意:

1、insert,为缺省方式,在数据装载开始时要求表为空     
2、append,在表中追加新记录     
3、replace,删除旧记录,替换成新装载的记录     
4、truncate,同上      

terminated   by   ',' 指用逗号分隔   
terminated   by   whitespace 结尾以空白分隔  

fields   terminated   by   X'09'  字段终止于X'09',是一个制表符(TAB)

tableName:数据表

(field1,field2,field3,field4):数据表导入字段

注意:当infile *时,导入数据就在控制文件中.....

如:

LOAD DATA
INFILE *
APPEND INTO TABLE tableName
FIELDS TERMINATED BY "," Optionally enclosed by '"'
(field1,field2,field3,field4)

BEGINDATA

field1_data,field2_data,field3_data,field4_data

field1_data,field2_data,field3_data,field4_data

field1_data,field2_data,field3_data,field4_data

注:"*" 代表数据文件与此文件同名,即在后面使用BEGINDATA段来标识数据

4、并发操作

sqlldr scott/tiger control=control_file.ctl log=logFile.log direct=true parallel=true

5、导出规则数据

Oracle 没有提供将数据导出到一个文件的工具。但是,我们可以用SQL*Plus的select 及 format 数据来输出到一个文件 set echo off newpage 0 space 0 pagesize 0 feed off head off trimspool on
  spool oradata.txt
  select col1 || ',' || col2 || ',' || col3
  from tab1
  where col2 = 'XYZ';
  spool off

   另外,也可以使用使用 UTL_FILE PL/SQL 包处理:
  rem Remember to update initSID.ora, utl_file_dir='c:\oradata' parameter
  declare
  fp utl_file.file_type;
  begin
  fp := utl_file.fopen('c:\oradata','tab1.txt','w');
  utl_file.putf(fp, '%s, %s\n', 'TextField', 55);
  utl_file.fclose(fp);
  end;

当然你也可以使用第三方工具,如SQLWays ,TOAD for Quest等。
  加载可变长度或指定长度的记录
  如:
  LOAD DATA
  INFILE *
  INTO TABLE load_delimited_data
  FIELDS TERMINATED BY "," OPTIONALLY ENCLOSED BY '"'
  TRAILING NULLCOLS
  ( data1,
  data2
  )
  BEGINDATA
  11111,AAAAAAAAAA
  22222,"A,B,C,D,"
  下面是导入固定位置(固定长度)数据示例:
  LOAD DATA
  INFILE *
  INTO TABLE load_positional_data
  ( data1 POSITION(1:5),
  data2 POSITION(6:15)
  )
  BEGINDATA
  11111AAAAAAAAAA
  22222BBBBBBBBBB
  跳过数据行:
  可以用 "SKIP n" 关键字来指定导入时可以跳过多少行数据。如:
  LOAD DATA
  INFILE *
  INTO TABLE load_positional_data
  SKIP 5
  ( data1 POSITION(1:5),
  data2 POSITION(6:15)
  )
  BEGINDATA
  11111AAAAAAAAAA
  22222BBBBBBBBBB
  导入数据时修改数据:
  在导入数据到数据库时,可以修改数据。注意,这仅适合于常规导入,并不适合 direct导入方式.

SQLLDR直接加载能否分批提交?

测过这样的问题,不过没做细致的分析
oracle也就是一个应用程序,与程序设计有关

sqlldr中的在直接装载时rows所表述的是多少行save 一下data
文档中也说了,这是一个大致的量,实际save多少与buffer所决定的bindsize有关
注意,这里说的是save data

save data只是类似于commit的效果
相同的地方时你在direct load的过程中出现了instance down等类似的状况,save的数据会实际保存到库中
不相同的部分大体有如下几点:
1.直接装载rows参数所表述的save data并没有事务的概念,不经过undo segment,因此无法回滚
2.direct是在hwm上的一个操作,成功了调整hwm,失败则好似未发生过这样的操作
3.direct load在装载时未不维护索引

所以设置了rows参数在load过程表中看不到数据的原因可能如下:
1、如hwm有关,即操作完成及instance recover或pmon清理时才发生调整hwm的操作
2、与direct load是一个无事务的操作有关
3、rows所表述的是save data,即extent操作,与commit所表述的事务操作是不同的

Oracle SQL Loader数据导入


更多文章、技术交流、商务合作、联系博主

微信扫码或搜索:z360901061

微信扫一扫加我为好友

QQ号联系: 360901061

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请用微信扫描下面二维码支持博主2元、5元、10元、20元等您想捐的金额吧,狠狠点击下面给点支持吧,站长非常感激您!手机微信长按不能支付解决办法:请将微信支付二维码保存到相册,切换到微信,然后点击微信右上角扫一扫功能,选择支付二维码完成支付。

【本文对您有帮助就好】

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请用微信扫描上面二维码支持博主2元、5元、10元、自定义金额等您想捐的金额吧,站长会非常 感谢您的哦!!!

发表我的评论
最新评论 总共0条评论