Redash1.0.3で日本語を含むTreasureDataのクエリがエラーになる件について

2017.06.23Update

伊達

こんにちは、WEBサービス開発部あらためWEBサービス開発グループの伊達です。つい先週部署名が変わりました。

ニフティのウェブサービスでは、サービスの各種データやお客様の行動ログをTreasureDataに蓄積し、Redashで可視化することでサービスの分析に役立てています。

TreasureDataはfluentdやembulkでおなじみのトレジャーデータ社のデータ管理サービスです。類似のサービスには、GoogleのBigQueryがありますね。ニフティでは、@nifty不動産や@nifty温泉を始めとした多くのサービスでスマホアプリのイベントデータやウェブサイトのログをTreasureDataに溜めています。

Redashは、RDB、NoSQL、あるいはTreasureDataやBigQueryなどのマネージドサービスのデータソースから抽出したデータをグラフなどで可視化できるソフトウェアです。有償のSaaS版と無償で利用できるOSS版があり、ニフティでは後者を活用しています。

TreasureDataはクエリ課金型ではありませんので、従量課金死の心配なくRedashなどのツールと連携して利用できます。そんな便利なTreasureDataとRedashですが、Redash上で日本語を含むクエリをTreasureDataに対して実行しようとするとエラーになる問題がv1.0.3にあるため、今回はその回避策について共有します。

環境構築から順を踏んで説明しますので、お急ぎの方は「エラーになるクエリ」からお読みください。

Redash環境を作る

今回はDocker Composeで環境を作ります。詳しくは Setting up a Redash instance のDocker Composeの項を参照ください。

docker-compose.yml を用意します。今回はproduction用のをそのまま使います
（実用する際には、REDASH_COOKIE_SECRETやpostgresのvolumesを設定してください）
docker-compose -f docker-compose.production.yml run --rm server create_db を実行して、データベースの初期化をします
docker-compose -f docker-compose.production.yml upを実行するとRedashが動きます

docker-compose.production.ymlを使いますと、Redash本体はserverとworkerの2コンテナが立ち上がります。manage.pyコマンドを実行するとバージョンの確認ができます。

1 2	$ docker exec -ti redash_server_1 ./manage.py version 1.0.3+b2850

（※ serverコンテナの名前がredash_server_1だった場合）

2017/06/22現在、redash/redash:latestのイメージを使用すると、上記の通り1.0.3+b2850です。

Adminユーザの設定

http://サーバのIPアドレス:5000/ にアクセスすると初回のみAdminユーザの設定画面が表示されます。

適当に入力して「Setup」をクリックしてください。

TreasureDataのデータソースを設定

さて、Adminユーザの設定が終わりますと、上記のような画面が表示されます。

データソースを設定しないと始まりませんので、右上のData Sourcesアイコンをクリックしてください。

続けて、「New Data Source」をクリック。

TreasureDataのサンプルのデータセットをデータソースに設定してみます。Typeにはクエリの種類を指定できます。契約しているプランに応じて、hiveまたはprestoを記入してください。

クエリを実行する

さて、やっと本題に入ります。まず、画面上部のメニューの Queries> New Query を選んで新しいクエリの作成画面に遷移します。

例えばサンプルのデータベース www_access から1行取得してみます。

1	select * from www_access limit 1;

とクエリ欄に記入してExecuteをクリックすればスクリーンショットのように結果が返ってきます。

そして、例えば以下のようなクエリを実行すると、

1	select 'abc', * from www_access limit 1;

という結果になります。

エラーになるクエリ

ところが、ここで文字列を日本語にするとエラーが発生します。

1	select 'あいう', * from www_access limit 1;

1	Error running query: (psycopg2.IntegrityError) null value in column "data" violates not-null constraint DETAIL: Failing row contains (5, 1, 1, 4811345db1ef6a1f8c7a0510455a8932, select 'あいう', * from www_access limit 1;, null, 0.625991106033325, 2017-06-22 06:00:28.026034+00).

調べたところ、TreasureDataがデータソースであり、非ASCII文字が含まれている場合には、どんなクエリでもエラーが発生するようでした。

原因

結論としては、Redashが使っているTreasureData接続用のライブラリであるtd-clientのバージョンが古いのが原因です。

requirements_all_ds.txt に依存ライブラリが記載されていますが、1.0.3+b2850ではtd-client==0.4.1となっています。

対処方法

2.0.0を使う

このコミットで使用するtd-clientが0.8.0に変更されていますので、未リリースですが2.0.0であれば問題は改善されています。

Docker Hubのredash/redashには2.0.0のタグもありますので、それを使うのも手です。

td-clientのバージョンを上げる

あるいは、Redashは1.0.3を使いつつ、td-clientのバージョンだけ上げても問題は起きなくなります。本当はイメージをビルドすべきですが、簡単のためコンテナにアタッチしてtd-clientのバージョンだけ上げてみます。

$ docker exec -ti redash_worker_1 /bin/bash

redash@531856e2bb90:/app$ pip install td-client==0.8.0

Collecting td-client==0.8.0

Downloading td_client-0.8.0-py2.py3-none-any.whl (72kB)

100% |################################| 81kB 2.3MB/s

Collecting urllib3<2.0,>=1.10 (from td-client==0.8.0)

Downloading urllib3-1.21.1-py2.py3-none-any.whl (131kB)

100% |################################| 133kB 2.6MB/s

Collecting six (from td-client==0.8.0)

Downloading six-1.10.0-py2.py3-none-any.whl

Collecting msgpack-python<0.5,>=0.4 (from td-client==0.8.0)

Downloading msgpack-python-0.4.8.tar.gz (113kB)

100% |################################| 122kB 3.7MB/s

Collecting python-dateutil<2.5.0,>=2.4.0 (from td-client==0.8.0)

Downloading python_dateutil-2.4.2-py2.py3-none-any.whl (188kB)

100% |################################| 194kB 3.1MB/s

Building wheels for collected packages: msgpack-python

Running setup.py bdist_wheel for msgpack-python ... done

Stored in directory: /home/redash/.cache/pip/wheels/2c/e7/e7/9031652a69d594665c5ca25e41d0fb3faa024e730b590e4402

Successfully built msgpack-python

Installing collected packages: urllib3, six, msgpack-python, python-dateutil, td-client

Successfully installed msgpack-python-0.4.8 python-dateutil-2.4.2 six-1.10.0 td-client-0.4.1 urllib3-1.20

アプリケーションを再起動すれば完了です。

$ docker-compose -f docker-compose.production.yml up

Starting redash_redis_1

Starting redash_worker_1

Starting redash_postgres_1

Starting redash_server_1

Starting redash_nginx_1

再び日本語を含むクエリを実行してみますと、エラーは起きず結果が得られました。

1	select 'あいう', * from www_access limit 1;

ということで、快適な可視化生活を送ることができるようになりました。