Alibaba 数据库迁移开源工具 Datax 安装和使用
来源：SegmentFault
2023-02-24 10:56:06
0浏览
收藏
亲爱的编程学习爱好者，如果你点开了这篇文章，说明你对《Alibaba 数据库迁移开源工具 Datax 安装和使用》很感兴趣。本篇文章就来给大家详细解析一下，主要介绍一下MySQL、迁移、alibaba、同步工具，希望所有认真读完的童鞋们，都有实质性的提高。
起因
事情是这样的，服务商有一批数据，现在的数据量大致为 2 千万条（单表），每天都会增加数据（增加多少暂不知道），但是呢给我们提供的查询不是一张数据表而是一张视图，我们再根据这个数据对外提供一个查询服务。因为是视图查询的时候就比较慢，我们也没有权限进行表的优化，所以就需要将数据同步到我们本地数据库，在本地进行数据表的优化（加索引等等的），但是数据量是 2 千万多，就需要一个工具来把远端数据同步到本地，然后在 github 上发现了
Datax，就按照文档
依赖关系
- Linux
- JDK(1.8 以上，推荐 1.8)
- Python(2或3都可以)
jdk 安装
解压重命名
解压重名为
java1.8并移动到
/usr/local目录下
/usr/local/java1.8
运行环境配置
vim ~/.bashrc
# 写入一下内容
export JAVA_HOME=/usr/local/java1.8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
# 执行 source
source ~/.bashrc
# 查看版本
java -version
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)Python 安装
Python 在 Ubuntu 系统上已经默认安装了，可以使用命令
python -V或
python3 -V查看当前版本。
可以使用命令
apt install python3安装 Python3。也可以自己使用编译的方式安装。
datax 安装
可以直接下载工具包，不需要再编译安装，可以直接使用。
验证是否安装成功
输入
python3 /usr/local/datax/bin/datax.py /usr/local/datax/job/job.json
输出
2022-11-21 14:05:28.828 [job-0] INFO JobContainer - PerfTrace not enable! 2022-11-21 14:05:28.829 [job-0] INFO StandAloneJobContainerCommunicator - Total 100000 records, 2600000 bytes | Speed 261.91KB/s, 20000 records/s | Error 0 records, 0 bytes | All Task WaitWriterTime 0.070s | All Task WaitReaderTime 0.068s | Percentage 100.00% 2022-11-21 14:05:28.829 [job-0] INFO JobContainer - 任务启动时刻 : 2022-11-21 14:05:18 任务结束时刻 : 2022-11-21 14:05:28 任务总计耗时 : 10s 任务平均流量 : 253.91KB/s 记录写入速度 : 10000rec/s 读出记录总数 : 100000 读写失败总数 : 0
job.json 文件解析
{
"job": {
"content": [
{
"reader": {
"name": "mysqlreader",# 读端，这个 name 不能 streamreader 会报错的
"parameter": {
"username": "",# 用户
"password": "",# 密码
"connection": [
{
"jdbcUrl": [],# 连接信息，貌似可以连接多个数据库，没有进行测试
"table": []# 数据表
}
],
"column": ["*"],# 需要同步的列 (* 表示所有的列)
"where": " id >= 500000 and id job.json 示例
{
"job": {
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"username": "datax2",
"password": "datax2",
"connection": [
{
"jdbcUrl": [
"jdbc:mysql://192.168.0.174:3306/datax2?useUnicode=true&characterEncoding=utf8"
],
"table": [
"user"
]
}
],
"column": [
"*"
]
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"username": "datax",
"password": "datax",
"writeMode": "insert",
"connection": [
{
"jdbcUrl": "jdbc:mysql://192.168.0.174:3306/datax?useUnicode=true&characterEncoding=utf8",
"table": [
"user"
]
}
],
"column": [
"*"
]
}
}
}
],
"setting": {
"speed": {
"channel": 2
}
}
}
}增量同步建议
对于增量同步数据，建议每张表有单独的
job.json配置文件，记录上次同步的最大的 ID，在
reader.where进行判断
id > last_max_sync_id。
where 示例，适用于单表的情况：
{
"parameter": {
"where": " id > last_max_sync_id "
}
}针对失败数据的处理方式
Datax 在同步过程中，失败的数据会写入到
/datax/log/文件中，并认定为
脏数据，可以从日志
脏数据中抽离出失败数据的内容组成
sql语句，或者找出
主键ID再去查询同步。
失败数据日志内容如下：
2022-11-22 09:52:50.696 [0-0-0-writer] ERROR StdoutPluginCollector - 脏数据:
{
"exception":"Incorrect integer value: 'inno' for column 'id' at row 1",
"record":[
{
"byteSize":8,
"index":0,
"rawData":"inno",
"type":"STRING"
},
{
"byteSize":32,
"index":1,
"rawData":"9ddfaac20670c9sda5s1d5a587fc40f104",
"type":"STRING"
},
{
"byteSize":14,
"index":2,
"rawData":"手持设备调用",
"type":"STRING"
},
{
"byteSize":4,
"index":3,
"rawData":9243,
"type":"LONG"
},
{
"byteSize":3,
"index":4,
"rawData":441,
"type":"LONG"
},
{
"byteSize":5,
"index":5,
"rawData":"admin",
"type":"STRING"
},
{
"byteSize":32,
"index":6,
"rawData":"49b1d2b5ds1d5a1s1d5a7414890ad2",
"type":"STRING"
},
{
"byteSize":1,
"index":7,
"rawData":1,
"type":"LONG"
},
{
"byteSize":61,
"index":8,
"rawData":"[[\"app_id\", \"=\", \"yuan\"], [\"id_name\", \"like\", \"%天华%\"]]",
"type":"STRING"
},
{
"byteSize":127,
"index":9,
"rawData":"SELECT COUNT(*) AS count FROM `device_request_history` WHERE `app_id` = 'yuan' AND `id_name` LIKE '%天华%' LIMIT 1",
"type":"STRING"
},
{
"byteSize":8,
"index":10,
"rawData":1668575331000,
"type":"DATE"
}
],
"type":"writer"
}关于读取视图数据到本地的方式
视图读取问题
Datax 可以从 reader 中读取视图数据，但是无法读取 writer 中的视图数据结构元信息，为了确保数据能够同步成功，需要先校验数据表结构一致性， Datax 需要判断写入目的表的数据结构是否和读取源数据表的结构一致。
针对视图读取问题处理方案
可以在目的数据库中新建数据表，新建数据表的结构和源数据视图的结构一致，这样 Datax 在校验数据表结构和视图结构一致性时就可以通过。
20000000 条数据实测案例
同步方案
为了方便测试，将 2 千万条数据按照 10 次进行同步（按照自己的实际情况来，可以一次性进行同步）。
方案划分
id > 0 and id 2000000 and id 4000000 and id 6000000 and id 8000000 and id 10000000 and id 12000000 and id 14000000 and id 16000000 and id 18000000 and id
id > 0 and id
这个 id 之间数据有断层。缺少 144 条数据。
2022-11-23 14:58:06.418 [job-0] INFO JobContainer - 任务启动时刻 : 2022-11-23 14:53:34 任务结束时刻 : 2022-11-23 14:58:06 任务总计耗时 : 271s 任务平均流量 : 1.28MB/s 记录写入速度 : 7406rec/s 读出记录总数 : 1999856 读写失败总数 : 0
id > 2000000 and id
2022-11-23 15:03:39.879 [job-0] INFO JobContainer - 任务启动时刻 : 2022-11-23 14:59:08 任务结束时刻 : 2022-11-23 15:03:39 任务总计耗时 : 271s 任务平均流量 : 1.28MB/s 记录写入速度 : 7407rec/s 读出记录总数 : 2000000 读写失败总数 : 0
id > 4000000 and id
这个 id 之间数据有断层。缺少 13 条数据。
2022-11-23 15:09:38.418 [job-0] INFO JobContainer - 任务启动时刻 : 2022-11-23 15:04:56 任务结束时刻 : 2022-11-23 15:09:38 任务总计耗时 : 282s 任务平均流量 : 1.24MB/s 记录写入速度 : 7142rec/s 读出记录总数 : 1999987 读写失败总数 : 0
id > 6000000 and id
2022-11-23 15:17:05.814 [job-0] INFO JobContainer - 任务启动时刻 : 2022-11-23 15:12:14 任务结束时刻 : 2022-11-23 15:17:05 任务总计耗时 : 291s 任务平均流量 : 1.19MB/s 记录写入速度 : 6896rec/s 读出记录总数 : 2000000 读写失败总数 : 0
id > 8000000 and id
2022-11-23 15:22:41.729 [job-0] INFO JobContainer - 任务启动时刻 : 2022-11-23 15:17:30 任务结束时刻 : 2022-11-23 15:22:41 任务总计耗时 : 311s 任务平均流量 : 1.12MB/s 记录写入速度 : 6451rec/s 读出记录总数 : 2000000 读写失败总数 : 0
id > 10000000 and id
这个 id 之间数据有断层。缺少 462 条数据。
2022-11-23 15:29:08.710 [job-0] INFO JobContainer - 任务启动时刻 : 2022-11-23 15:23:56 任务结束时刻 : 2022-11-23 15:29:08 任务总计耗时 : 311s 任务平均流量 : 1.12MB/s 记录写入速度 : 6450rec/s 读出记录总数 : 1999538 读写失败总数 : 0
id > 12000000 and id
2022-11-23 15:34:23.699 [job-0] INFO JobContainer - 任务启动时刻 : 2022-11-23 15:29:42 任务结束时刻 : 2022-11-23 15:34:23 任务总计耗时 : 281s 任务平均流量 : 1.24MB/s 记录写入速度 : 7142rec/s 读出记录总数 : 2000000 读写失败总数 : 0
id > 14000000 and id
2022-11-23 15:39:16.394 [job-0] INFO JobContainer - 任务启动时刻 : 2022-11-23 15:34:54 任务结束时刻 : 2022-11-23 15:39:16 任务总计耗时 : 261s 任务平均流量 : 1.33MB/s 记录写入速度 : 7692rec/s 读出记录总数 : 2000000 读写失败总数 : 0
id > 16000000 and id
2022-11-23 15:45:19.011 [job-0] INFO JobContainer - 任务启动时刻 : 2022-11-23 15:40:07 任务结束时刻 : 2022-11-23 15:45:19 任务总计耗时 : 311s 任务平均流量 : 1.12MB/s 记录写入速度 : 6451rec/s 读出记录总数 : 2000000 读写失败总数 : 0
id > 18000000 and id
2022-11-23 15:51:07.983 [job-0] INFO JobContainer - 任务启动时刻 : 2022-11-23 15:45:56 任务结束时刻 : 2022-11-23 15:51:07 任务总计耗时 : 311s 任务平均流量 : 1.09MB/s 记录写入速度 : 6276rec/s 读出记录总数 : 1945569 读写失败总数 : 0
到这里，我们也就讲完了《Alibaba 数据库迁移开源工具 Datax 安装和使用》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于mysql的知识点！
版本声明
本文转载于：SegmentFault 如有侵犯，请联系study_golang@163.com删除
PolarDB-X 开源分布式数据库在韵达科技的应用实践
- 上一篇
- PolarDB-X 开源分布式数据库在韵达科技的应用实践
- 下一篇
- 1071 - Specified key was too long; max key length is 767 bytes
评论列表
-
- 哭泣的芝麻
- 这篇博文出现的刚刚好，太细致了，很棒，码住，关注师傅了！希望师傅能多写数据库相关的文章。
- 2023-03-15 18:24:06
查看更多
最新文章
-
- 数据库 · MySQL | 1天前 | MySQL · 慢查询 · 索引优化 · COUNT查询 · 汇总表 · 联合索引 覆盖索引 汇总表 MySQL COUNT慢 COUNT(*)优化
- MySQL COUNT(*) 总数查询变慢怎么办：从扫描行数到汇总表的完整治理流程
- 329浏览 收藏
查看更多
课程推荐
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案，代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景，打造一站式知识长龙服务，适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例，全面具体可落地，从理论到实践，一步一步将GO核心编程技术、编程思想、底层实现融会贯通，使学习者贴近时代脉搏，做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信：Le-studyg；在课程中，我们将首先介绍MySQL8的新特性，包括性能优化、安全增强、新数据类型等，帮助学生快速熟悉MySQL8的最新功能。接着，我们将深入解析MySQL的网络通信机制，包括协议、连接管理、数据传输等，让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网，分为导航，轮播，关于我们，成功案例，服务流程，团队介绍，数据部分，公司动态，底部信息等内容区块。网站整体采用CSSGrid布局，支持响应式，有流畅过渡和展现动画。
- 485次学习
查看更多
AI推荐
-
- ljg-skills
- ljg-skills 是李继刚开源的 AI 技能与提示词集合，面向大模型使用者整理了一批可复用的 prompt、角色设定和任务技能模板，适合用于学习提示词设计、搭建个人 AI 工作流和沉淀团队常用智能体能力。
- 169次使用
-
- MELO音乐
- MELO音乐是一站式AI视频与音乐制作助手，对标suno, udio的高品质体验。提供伴奏生成、原创写词、无损导出、哼唱识曲、混音变声等全套音频与短视频编辑工具。无论是流行Kpop、电音说唱、民谣古风、摇滚儿歌还是商用轻音乐，MELO为你免费谱曲，轻松做同款！
- 183次使用
-
- UniScribe
- UniScribe 是一款 AI 音视频转文字与内容整理工具，支持上传音频、视频文件或粘贴 YouTube 链接，自动生成转写文本、摘要、思维导图和关键问题，并支持多格式导出，适合会议记录、课程学习、访谈整理和内容创作复盘。
- 166次使用
-
- 剧云
- 剧云是专业中文剧本创作平台，安全稳定运行十余年，集成AI编剧、剧本医生审核、人物小传、剧情关系图、大纲编写、多人协作、Word导入导出、版权管控功能，数据安全防护，轻松高效创作剧本。
- 322次使用
-
- 万象有声
- 万象有声，一个专为有声创作者打造的新一代智能有声内容创作平台。平台提供专业的智能拆章、智能画本编辑、AI配音、AI生成音效、后期制作、智能对轨、智能审听等有声创作全流程工具，可以帮助创作者高效、低成本创作出引人入胜的有声作品。立即体验，让有声书制作更简单！
- 321次使用
查看更多
相关文章
-
- golang MySQL实现对数据库表存储获取操作示例
- 2022-12-22 499浏览
-
- 搞一个自娱自乐的博客(二) 架构搭建
- 2023-02-16 244浏览
-
- B-Tree、B+Tree以及B-link Tree
- 2023-01-19 235浏览
-
- mysql面试题
- 2023-01-17 157浏览
-
- MySQL数据表简单查询
- 2023-01-10 101浏览
