embulkためす - もがき系プログラマの日常

はじめに

こんばんは

こちらの記事はユアマイスターアドベントカレンダー2020の10日目の記事です。

先日、次の自分のチケットアサインMTGで、 embulkを使うような仕事が来る可能性がありそうでした。

embulkは3〜4年前に個人的に少しだけ触った記憶しかないので、もし来たとき用に素振りしようと思います。

本題

前提

今回はこのデータで試します。

example_db

mysql> show tables;
+----------------------+
| Tables_in_example_db |
+----------------------+
| users                |
+----------------------+
1 row in set (0.00 sec)

mysql> SELECT * FROM users;
+----+-------+---------------------+---------------------+
| id | name  | created             | modified            |
+----+-------+---------------------+---------------------+
|  1 | test  | 2020-12-01 00:00:00 | 2020-12-01 00:00:00 |
|  2 | test2 | 2020-12-01 00:00:00 | 2020-12-01 00:00:00 |
|  3 | test3 | 2020-12-01 00:00:00 | 2020-12-01 00:00:00 |
|  4 | test3 | 2020-12-01 00:00:00 | 2020-12-01 00:00:00 |
|  5 | test4 | 2020-12-01 00:00:00 | 2020-12-01 00:00:00 |
+----+-------+---------------------+---------------------+
5 rows in set (0.00 sec)

example_db_2

mysql> show tables;
Empty set (0.00 sec)

example_db には users というテーブルがあり、データが入っています。

example_db_2 にはテーブル自体が存在しません。

in: mysql, out: mysqlで試してみる

1. 本体のインストール

$ brew install embulk

$ embulk --version
embulk 0.9.23

2. プラグインのインストール

今回は試しに、in, outともにmysqlにしてみます。

$ embulk gem install embulk-input-mysql
$ embulk gem install embulk-output-mysql

3. 設定ファイル

_env.yml.liquid

{% assign in_host = '127.0.0.1' %}
{% assign in_user = 'kojirock' %}
{% assign in_password = '1qaz2wsx' %}
{% assign in_database = 'example_db' %}

{% assign out_host = '127.0.0.1' %}
{% assign out_user = 'kojirock' %}
{% assign out_password = '1qaz2wsx' %}
{% assign out_database = 'example_db_2' %}

users.yml.liquid

{% include 'env' %}
in:
  type: mysql
  host: {{ in_host }}
  user: {{ in_user }}
  password: {{ in_password }}
  database: {{ in_database }}
  table: users
  select: "id, name"
out:
  mode: replace
  type: mysql
  host: {{ out_host }}
  user: {{ out_user }}
  password: {{ out_password }}
  database: {{ out_database }}
  table: users
  select: "id, name"

4. 実行

一旦 previewで実行してみます。

$ embulk preview users.yml.liquid
...
2020-12-10 02:46:52.550 +0900 [INFO] (0001:preview): SQL: SELECT id, name FROM `users`
2020-12-10 02:46:52.552 +0900 [INFO] (0001:preview): > 0.00 seconds
+---------+-------------+
| id:long | name:string |
+---------+-------------+
|       1 |        test |
|       2 |       test2 |
|       3 |       test3 |
|       4 |       test3 |
|       5 |       test4 |
+---------+-------------+

良さげなので、実行してみます。

$ embulk run users.yml.liquid   
... 
2020-12-10 02:47:55.849 +0900 [INFO] (main): Committed.
2020-12-10 02:47:55.849 +0900 [INFO] (main): Next config diff: {"in":{},"out":{}}

成功したので、mysqlを見てみます。

$ mysql -u kojirock -p                     
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 114
Server version: 8.0.22 Homebrew

Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> use example_db_2
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> show tables;
+------------------------+
| Tables_in_example_db_2 |
+------------------------+
| users                  |
+------------------------+
1 row in set (0.00 sec)

mysql> select * from users;
+------+-------+
| id   | name  |
+------+-------+
|    1 | test  |
|    2 | test2 |
|    3 | test3 |
|    4 | test3 |
|    5 | test4 |
+------+-------+
5 rows in set (0.00 sec)

example_db_2に移すことが出来ました！！

これがだいたい基本の動きなのかな？

in: mysql, out: bigQueryで試してみる

1. プラグインのインストール

$ embulk gem install embulk-output-bigquery