Apache Sqoop
Apache Sqoop是用于在关系型数据库和Hadoop之间传输数据的开源工具。[1] 该项目始于2009年，在2021年6月结束，并被移至Apache Attic。[2]
 | |
| 开发者 | Apache Software Foundation |
|---|---|
| 首次发布 | 2009年6月1日 |
| 最终版本 |
|
| 源代码库 | Sqoop Repository |
| 编程语言 | Java |
| 操作系统 | 跨平台 |
| 类型 | 数据管理 |
| 许可协议 | Apache License 2.0 |
| 网站 | sqoop |
概要
Sqoop支持增量更新，将新记录添加到最近一次的导出的数据源上，或者指定上次修改的时间戳。导入也可以填充Hive或HBase中的表。[3] 导出则支持将Hadoop的数据放入关系数据库中。Sqoop得名于“SQL-to-Hadoop”。Sqoop于2012年3月成为顶级Apache项目。[4]
Informatica从10.1版开始提供基于Sqoop的连接器。Pentaho自4.5版开始在其ETL套件Pentaho Data Integration中提供基于开源Sqoop的连接器，Sqoop导入[5]和导出[6]。[7]微软使用基于Sqoop的连接器将数据从Microsoft SQL Server传输到Hadoop。[8]Couchbase还通过Sqoop提供Couchbase Server-Hadoop连接器。[9]
参考书目
- White, Tom. Chapter 15: Sqoop. Hadoop: The Definitive Guide 2nd. O'Reilly Media. : 477–495. ISBN 978-1-449-38973-4.
参考资料
- ^ Sqoop -. sqoop.apache.org. [2022-06-24]. （原始内容存档于2022-07-07）.
- ^ moving Sqoop to the Attic. mail-archives.apache.org. [2021-06-27]. （原始内容存档于2021-06-27）.
- ^ Apache Sqoop - Overview : Apache Sqoop. blogs.apache.org. [2022-06-24]. （原始内容存档于2022-06-24）.
- ^ Apache Sqoop Graduates from Incubator : Apache Sqoop. blogs.apache.org. [2022-06-24]. （原始内容存档于2022-06-24）.
- ^ Sqoop Import. Pentaho. 2015-12-10 [2015-12-10]. （原始内容存档于2015-12-10）.
The Sqoop Import job allows you to import data from a relational database into the Hadoop Distributed File System (HDFS) using Apache Sqoop.
- ^ Sqoop Export. Pentaho. 2015-12-10 [2015-12-10]. （原始内容存档于2015-12-10）.
The Sqoop Export job allows you to export data from Hadoop into an RDBMS using Apache Sqoop.
- ^ Big Data Analytics Vendor Pentaho Announces Tighter Integration with Cloudera; Extends Visual Interface to Include Hadoop Sqoop and Oozie. Database Trends and Applications (dbta.com). 2012-07-27 [2015-12-08]. （原始内容存档于2015-12-08）.
Pentaho’s Business Analytics 4.5 is now certified on Cloudera’s latest releases, Cloudera Enterprise 4.0 and CDH4. Pentaho also announced that its visual design studio capabilities have been extended to the Sqoop and Oozie components of Hadoop.
- ^ Microsoft SQL Server Connector for Apache Hadoop. [Sep 8, 2012]. （原始内容存档于2016-04-13）.
- ^ Couchbase Hadoop Connector. [Sep 8, 2012]. （原始内容存档于2012-08-25）.