数据仓库之抽取数据:通过bcp命令行导入数据

原文:数据仓库之抽取数据:通过bcp命令行导入数据

 

在做数据仓库时,最重要的就是ETL的开发,而在ETL开发中的第一步,就是要从原OLTP系统中抽取数据到过渡区中,再对这个过渡区中的数据进行转换,最后把经过处理的干净的数据加载到数据仓库中。

 

目标数据库是sql server,通过bcp命令行导入数据。bcp方式相对于其他方式来说,速度更快,是做了优化的。

以下为bcp命令行常用的参数,注意大小写:  

-c  以char作为存储类型
-w  和-c类似,只有当使用unicode字符集拷贝数据时使用nchar作为存储类型
-T  用可信连接
-S  sql server服务器名称

in  导入数据
out 导出数据
queryout 查询导出数据

-U  用户名
-P  密码
-F  从哪一行开始导入
-L  直到哪一行结束
-f  格式文件
-x  与-f一起使用,用来生产xml格式的格式文件
-t  指定字段分隔符是"\t"
-r  指定行分隔符是"\n"

 

1、开启即席查询

  1. --修改高级参数
  2. sp_configure 'show advanced options',1
  3. go
  4. --允许即席分布式查询
  5. sp_configure 'Ad Hoc Distributed Queries',1
  6. go
  7. --如果配置的值不在合理范围(在最小值最大值范围内),那么可以强制覆盖
  8. reconfigure with override  
  9. go

2、导出格式化文件

格式化文件用来指定表的格式,也就是几个字段,数据类型是什么,后面导入、导出数据会用到。

通过导出格式化选项,可以直接导出,不需要我们自己写。

用可信连接登陆:

  1. bcp wc.dbo.calendar format nul -f c:\calendar.fmt
  2. -c -T -S pc0227gry\mssqlserver2008

通过用户名、密码登陆:

  1. bcp wc.dbo.calendar format nul -f c:\calendar.fmt
  2. -c -Usa -Pxyz -S pc0227gry\mssqlserver2008

3、导出数据文件,可以把远程服务器的数据导出保存为本地的文件

  1. bcp wc.dbo.calendar out c:\calendar.txt -f c:\calendar.fmt
  2. -c -T -S PC0227GRY\MSSQLSERVER2008

4、导入数据

  1. bcp wc.dbo.calendar in c:\calendar.txt -c -f c:\calendar.fmt
  2. -Usa -Pxyz -S pc0227gry\mssqlserver2008

 

数据仓库之抽取数据:通过bcp命令行导入数据数据仓库之抽取数据:通过bcp命令行导入数据 不想长大啊 发布了416 篇原创文章 · 获赞 135 · 访问量 94万+ 他的留言板 关注
上一篇:SQLServer获取临时表列名


下一篇:insert into 和 where not exists