導入導出工具mysql數據庫_導入導出Hive數據庫
(圖片來(lái)源網(wǎng)絡(luò ),數數據侵刪)簡(jiǎn)介:MySQL官方提供的導入導出導入導出圖形化管理工具,支持數據導入導出。工具
操作步驟:
1) 打開(kāi)MySQL Workbench,數數據連接到目標數(shu)據庫。據庫
2) 在左側導航欄中選擇要導入或導出??的導入導出導入導出數據庫。
3) 右鍵點(diǎn)擊數據庫,工具選擇"Data Export"或"Data Import"進(jìn)行操作。數數據
4) 根據提示完成導入導出過(guò)程。據庫
(圖片來(lái)源網(wǎng)絡(luò ),導入導出導入導出侵ヽ(′ー`)ノ刪)2、工具M(jìn)ySQL命令行??工具
簡(jiǎn)介:M??ySQL自帶的數數據命令行工具,ヽ(′▽?zhuān)?ノ支持數據導入導出。
1) 打開(kāi)命令行,輸入以下命令連接到目標數據庫:
“`
mysql u 用戶(hù)名 p 密碼 h 主機名 P 端口(′?`)號
“`
(圖片來(lái)源網(wǎng)絡(luò ),侵刪)2) 使用以下命令進(jìn)行數據導入導出:
數據導入:
“`
LOAD DATA INFILE ‘文件路徑’??; INTO TABLE 表名;
數據導出:
“`
SELECT * FROM 表名 INTO OUTFILE ‘文件路徑’;
“`
1、Hive命令行工具
簡(jiǎn)介:Hive自帶的命令行工具,支持數??據導入導出。
操作步驟:
“(′Д` );`
hive e "show databases;"
ヾ(′▽?zhuān)??8220;`(′ω`)
2) 使用以下命令進(jìn)行數據導入導出:
數據導入:
“`
LOAD DATA LOCAL INPATH ‘文件路徑’ INTO TABLE 表名;
“`
數據導出:
“`
INSERT OVERWRITE LOCAL DIRECTORY ‘文件路徑’ ROW FORMAT DELIMI??TED FIELDS TERMINATED BY ‘t’ STORED AS TEXTFILE select * from 表名;
“`
2、Sqoop工具
簡(jiǎn)介:Apache開(kāi)源的數據導入導出工具,支持從關(guān)系型數據庫(如MySQL)到Hadoop(如HDFS)的數據遷移。
2) 使用以下命令進(jìn)行數據導入導出:
數據導入:
“`
sqoop import connect jdbc:mysql://主機名:端口號/數據庫名 username 用戶(hù)名 password 密碼 tab┐(′?`)┌l(fā)e 表名 targetdir /HDFS路徑 m 1 fieldsterminatedby ‘t’ linesterminatedby ‘
‘ nullstring ‘\N&??#8217; nullnonstring ‘N’
“`
數據導出:
“`
sqoop export connect jdbc:mysql://主機名:??端口號/數據庫名 username 用戶(hù)名 password 密碼 table 表名 exportdir /HDFS路徑 inputfieldsterm??inatedby ‘t’ inputlinesterminatedby ‘
‘ inputnullstring ‘\N’ inputnullnonstring ‘\N’ inputoptionallyenclosedby ‘"’ inputescapedby ‘\\’ outputfieldsterminatedby ‘t’ outputlinesterminated by ‘(′▽?zhuān)?;
‘ outputnullstring ‘\N’ outputnullnonstring ‘\N’ outputoptionallyenclosedby ‘"(′?ω?`)8217; outputescapedby ‘\\’ query "SELECT * FROM 表名" numReduceTasks 1 inputformat?? "org.apache.hadoop.mapred.TextInputFormat&ヽ(′ー`)ノquot; outputformat "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOuヽ(′▽?zhuān)?ノtputFormat" hiveimport hivetable 表名 hiveoverwrit(′?`)e createhivetable hivedatabase 數據庫名 astextfile numMappers 1 fieldsterminatedby ??8216;t’ linesterminated by?? ‘
‘ nullstring ‘\N’ nullnonstring ‘\N’
“`
下面是一個(gè)關(guān)于MySQL和Hive數據庫導(dao)入導出工具的介紹:
| 工具名稱(chēng) | 數據源 | 目標源 | 主要用途 | 特點(diǎn) | 示例命令 |
| Sqoop | MySQL | HDFS/Hive | 數據遷移、數據同步 | 支持全量、增量導入導出;可指定map任務(wù)數量 | sqoop import connect jdbc:mysql://ip:3306??/mysql_db table table_name hiveimpo(?????)rt hivedatab┐(′?`)┌ase hiv(′ω`)e_db |
| Sqoop | Hive | MySQヽ(′ー`)ノL?? | 數據遷移、數據同步 | 支持全量導出;可指定map任務(wù)數量 | sqoop export?? connヽ(′?`)ノect jdbc:mysql://ip:3306/mysql_db table table_name exportdir hiv?e_table_path |
| DataX | MySQL | Hive | 數據遷移、數據同步 | 支持多種異構數據源;可自定義任務(wù)并發(fā)數 | python datax.pヽ(′ー`)ノy c mysql2hive.json(其中mysql2hive.json為配置文件) |
請注意,介紹中的示例命令僅用于演示,實(shí)際使用時(shí)需要根據實(shí)際情況調整參數,DataX的配置文件(如mysql2hive.json)需要根據具體的數據遷移需求進(jìn)行編寫(xiě)。
Copyright ? 2012-2018 天津九安特機電工程有限公司 版權所有 備案號: