sonots:blog

ruby 2.1.1 入りの td-agent rpm を作ろうとしたらハマりにハマったのでメモ。

１. ハマりたくなかったので vagrant を使って真っさらな環境を用意してビルド。結局ハマったけど

$ vagrant box add cenos-6.4 https://github.com/2creatives/vagrant-centos/releases/download/v0.1.0/centos64-x86_64-20131030.box
$ vagrant init centos-6.4
$ vagrant up
$ vagrant ssh

２. td-agent レポジトリを clone

$ sudo yum install -y git
$ git clone https://github.com/treasure-data/td-agent.git
$ cd td-agent

３. ruby のバージョンを 2.1.1 に変更。今回は一緒に coolio, msgpack のバージョンもあげた。ruby 2.0 以上だと bundler も 1.3  以上じゃないとダメとエラーがでたのでそちらもあげた

追記: [重要] ruby 2.1.1 にしたところメモリ使用量があがり続けたため色々テスト中 => ロングランさせたら最終的には安定した。

autogen.sh

 diff --git a/autogen.sh b/autogen.sh
index d489fae..1e68951 100755
--- a/autogen.sh
+++ b/autogen.sh
@@ -29,12 +29,12 @@ mkdir -p deps/ruby
 mkdir -p plugins
 cd deps
 download "http://www.canonware.com/download/jemalloc" "jemalloc-2.2.5.tar.bz2"
-download "http://ftp.ruby-lang.org/pub/ruby/1.9" "ruby-1.9.3-p484.tar.bz2"
+download "http://ftp.ruby-lang.org/pub/ruby/2.1" "ruby-2.1.1.tar.bz2"
-download "http://rubygems.org/downloads" "bundler-1.2.5.gem"
+download "http://rubygems.org/downloads" "bundler-1.5.3.gem"
 download "http://rubygems.org/downloads" "json-1.7.7.gem"
-download "http://rubygems.org/downloads" "msgpack-0.4.7.gem"
+download "http://rubygems.org/downloads" "msgpack-0.5.6.gem"
 download "http://rubygems.org/downloads" "iobuffer-1.1.2.gem"
-download "http://rubygems.org/downloads" "cool.io-1.1.1.gem"
+download "http://rubygems.org/downloads" "cool.io-1.2.1.gem"
 download "http://rubygems.org/downloads" "http_parser.rb-0.5.1.gem"
 download "http://rubygems.org/downloads" "yajl-ruby-1.1.0.gem"
 download "http://rubygems.org/downloads" "jeweler-1.6.2.gem"

1.9.3 から 2.1.1 に上げると gems のパスも変わるので一緒に変更。2.1.1 だけど 2.1.0 なの注意な。

$ sed -i 's/1.9.1/2.1.0/g' Makefile.am

４. fluentd のリビジョンも最新 v0.10.44 に変更

REVISION

-098fea17aedab0ebf58aa55ace76d14ad0889262
+1229278fe48ddc449ad501aa9c114b4597a794da

５. ビルド

ドハマりしたけどとりあえず結論だけ書く

$ sudo rpm -ivh http://packages.treasure-data.com/redhat/x86_64/td-libyaml-0.1.4-1.x86_64.rpm
$ echo '%__arch_install_post %{nil}' > ~/.rpmmacros # ここは直すべき
$ touch redhat/td-agent.conf.custom # ここは直すべき
$ sudo ./make-rpm.sh

「ここは直すべき」に関しては @repeatedly 氏が直してくれるに違いない。もう疲れたょ....

ここに辿りつくまでの軌跡

そのっつ (SEO Naotoshi)@sonots

ruby の version あげるためだけに td-agent rpm 作り直すのめちゃくちゃ時間かかるしオーバーキルな気がする

2014/02/26 16:57:18

そのっつ (SEO Naotoshi)@sonots

おかしい部分直して、これでもう大丈夫だとは思うんだが、まだ完了しない

2014/02/26 16:57:43

そのっつ (SEO Naotoshi)@sonots

あぁぁぁ、最後の最後に失敗した ...

2014/02/26 17:04:29

そのっつ (SEO Naotoshi)@sonots

README.rdoc には大分はまった ...

2014/02/26 17:09:09

そのっつ (SEO Naotoshi)@sonots

@yoshi_ken これって正しいやり方わかりました？ https://t.co/AS7NuJWQPk #同じとこでハマってるなう

2014/02/27 12:47:34

そのっつ (SEO Naotoshi)@sonots

@repeatedly yoshi_ken さんも嵌ってるし、いつもどうやってビルドしてるんですか？？ https://t.co/AS7NuJWQPk

2014/02/27 12:50:22

そのっつ (SEO Naotoshi)@sonots

@yoshi_ken QA_SKIP_BULD_ROOT 試してみましたがエラー出てしまった ... https://t.co/2cBeQtvg7L

2014/02/27 13:53:58

そのっつ (SEO Naotoshi)@sonots

@hirose31 @kzk_mover @tagomoris @repeatedly ぶっ壊れてます！https://t.co/UORloma2N3

2014/02/27 15:03:01

そのっつ (SEO Naotoshi)@sonots

@repeatedly さっぱりですT T

2014/02/27 17:05:24

そのっつ (SEO Naotoshi)@sonots

なにが違うんやで

2014/02/27 17:05:57

そのっつ (SEO Naotoshi)@sonots

@repeatedly なぜ check-buildroot が呼ばれてないのか...

2014/02/27 17:19:18

Mr. Fiber@repeatedly

@sonots 俺に言われても…

2014/02/27 17:20:24

ひろせ３１@hirose31

@repeatedly /usr/lib/rpm/check-buildroot 実行してないすねぇ。。 @sonots さんの https://t.co/6YxvTThiKn は /usr/lib/rpm/redhat/brp-compress の前に実行してる。

2014/02/27 17:44:12

そのっつ (SEO Naotoshi)@sonots

あなたが神か RT @hirose31: sonotsさんがかわいそうなので参戦するか。。

2014/02/27 17:32:34

ひろせ３１@hirose31

@repeatedly あーそのへんすな

2014/02/27 17:52:45

ひろせ３１@hirose31

@repeatedly おかげでまるっと原因＆対策わかりました :D

2014/02/27 18:04:51

Mr. Fiber@repeatedly

さすが:D社最後の将ひろせさん．人の環境を目grepしただけで原因を把握する恐ろしい御方やで…

2014/02/27 18:06:23

結論

ひろせさん、マジひろせさん
恐ろしい御方やで...

FYI: まとめはこちら => 原因と対策まとめ by hirose31

関連リンク集

• td-agent make-rpm.sh が失敗するんですが - togetter 
• td-agent/make-rpm.sh error: cannot find input file: Makefile.in
• td-agent/make-rpm.sh Found '/root/td-agent/rpmbuild/BUILDROOT/td-agent-1.1.18-0.el6.x86_64' in installed files; aborting
  

深淵な理由により Ubuntu 環境ではなく CentOS 6.5 環境で docker を試していたのだが、docker build を繰り返していたらディスクが足りなくなって「あるある事案だな」とか思いながら、 @znz さんの Dockerで不要になったコンテナやイメージを削除する の記事を参考にして、

コンテナ削除

docker rm `docker ps -a -q`

docker images 削除

docker rmi $(docker images | awk '/^<none>/ { print $3 }')

とかやったのだが、df でみてもディスクが解放されていない。 どこが解放されていないのか du で確認していったところ devicemapper ディレクトリとやらがでかかった。

[vagrant@localhost var]$ sudo du -h /var/lib/docker --max-depth=1
3.9M    /var/lib/docker/init
4.0K    /var/lib/docker/volumes
256K    /var/lib/docker/graph
39G /var/lib/docker/devicemapper
12K /var/lib/docker/containers
39G /var/lib/docker

なぜ解放されないのかぐぐったところ、docker のこちらの issue をみつけた。

Device-mapper does not release free space from removed images #3182

直ったらしいのだが、linux kernel のバグなので linux kernel もアップデートする必要があるらしい。

Still exist in 0.7.5 on ubuntu 13.04.

ということで Ubuntu 13.04 でもダメらしく、

What is the work around to remove space. I am using rhel 6.5 and it might be a while to get the new kernel.

@logicminds There is no super easy way to recover the space atm. Technically it should be possible to manually re-sparsify the loopback files. But that would require all the non-used blocks to be zeroed or something for easily detection of the sparse areas, which is not done on thinp device removal.

RHEL/CentOS 6.5 でもダメらしい。詰んだ。Ubuntu は新しいのが出てるので望みある。

Thoughts

Docker のバグは得てして Linux kernel の LXC Container まわりのバグだったりするので、最新の Linux Kernel を追える体制を作っておかないと、実運用などできないな、と思った。

そういうことを考えると linux kernel のバージョンが 3.x 系ではなく 2.x 系のままの RHEL/CentOS で docker を運用するのはエッジ攻めれないのでつらたんですね、という結論。

こちらからは以上です。

ruby が色々入っている docker イメージを作っておいたメモ の続き。 深遠な理由により Ubuntu ではなく CentOS 6.5 環境で作業中。

昨日に続いてさらに、mongodb, mysql, redis, memcached を入れてみた。できた Dockerfile はこちら

FROM centos
# packages
RUN yum groupinstall -y "Development tools"
RUN yum -y install openssl openssl-devel readline-devel readline compat-readline5 libxml2-devel libxslt-devel libyaml-devel git
# rbenv
RUN git clone https://github.com/sstephenson/rbenv.git ~/.rbenv
RUN mkdir -p ~/.rbenv/plugins && git clone https://github.com/sstephenson/ruby-build.git ~/.rbenv/plugins/ruby-build
RUN echo -e 'export PATH=~/.rbenv/bin:$PATH\neval "$(rbenv init -)"' >> /etc/profile.d/rbenv.sh && source /etc/profile.d/rbenv.sh
# ruby
ENV CONFIGURE_OPTS --disable-install-doc
RUN bash -lc '~/.rbenv/plugins/ruby-build/bin/ruby-build 1.9.3-p545 ~/.rbenv/versions/1.9.3'
RUN bash -lc '~/.rbenv/plugins/ruby-build/bin/ruby-build 2.0.0-p451 ~/.rbenv/versions/2.0.0'
RUN bash -lc '~/.rbenv/plugins/ruby-build/bin/ruby-build 2.1.1 ~/.rbenv/versions/2.1'
# bundler for all ruby
RUN echo 'gem: --no-rdoc --no-ri' >> /.gemrc
RUN bash -lc 'for v in 1.9.3 2.0.0 2.1; do rbenv global $v; gem install bundler; done'
# mongodb (2.4.9)
RUN rpm -ivh http://downloads-distro.mongodb.org/repo/redhat/os/x86_64/RPMS/mongo-10gen-2.4.9-mongodb_1.x86_64.rpm http://downloads-distro.mongodb.org/repo/redhat/os/x86_64/RPMS/mongo-10gen-server-2.4.9-mongodb_1.x86_64.rpm
RUN echo 'smallfiles = true' >> /etc/mongod.conf # make journal small
RUN /etc/init.d/mongod start && /etc/init.d/mongod stop
# memcached (1.4.4-3.el6)
RUN echo "NETWORKING=yes" >/etc/sysconfig/network
RUN yum -y install memcached
RUN /etc/init.d/memcached start && /etc/init.d/memcached stop
# mysql (5.5.36-1)
RUN rpm -ivh  http://ftp-srv2.kddilabs.jp/Linux/distributions/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm
RUN rpm -ivh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm
RUN yum -y install mysql-server --enablerepo=remi
RUN /etc/init.d/mysqld start && /etc/init.d/mysqld stop
# redis (2.8.6)
RUN wget http://download.redis.io/releases/redis-2.8.6.tar.gz && tar xzf redis-2.8.6.tar.gz && cd redis-2.8.6 && make && make install
RUN sed 's/daemonize no/daemonize yes/' redis-2.8.6/redis.conf > /etc/redis.conf
#RUN /usr/local/bin/redis-server /etc/redis.conf

メモなので躱したエラーを記す

/etc/sysconfig/network: No such file or directory

memcached を起動しようとすると

/etc/init.d/memcached: line 26: /etc/sysconfig/network: No such file or directory

というエラーが出るので、

RUN echo "NETWORKING=yes" >/etc/sysconfig/network

として /etc/sysconfig/network を作っておく必要があった。これは FROM centos だとアルアルな話っぽい。

ulimit: open files: cannot modify limit: Operation not permitted

mongodb を start しようとすると、

ulimit: open files: cannot modify limit: Operation not permitted

というエラーが出るので、/etc/init.d/docker の上のほうに

ulimit -n 65535

を追記＆ restart しておき、docker プロセスそのものが扱える limit を引き上げておく必要があった

Failed to upload layer: Put https://registry-1.docker.io

出来た！と思って docker push しようとした所

f60f2f8c5063: Pushing [================================>                  ] 166.7 MB/257.8 MB 1m5s
2014/02/26 19:32:35 Failed to upload layer: Put https://registry-1.docker.io/v1/images/f60f2f8c506316a4cf5d2e2af1c45b1457be5ef0c0a8f0c6197b07bad7b020ef/layer: EOF

というエラーが出た。でかすぎる commit を Put しようとすると出る？

ぐぐったら stackoverflow の記事 が引っかかったので見てみた所、

I upgraded Docker from 0.7.3 to 0.7.5 and this error stopped.

とのことで docker -v したら 0.8.0 だったので特に関係なかった。

しかし、mongo を起動したらいきなり 5GB にイメージサイズが膨れ上がったのも事実だったので、

RUN echo 'smallfiles = true' >> /etc/mongod.conf # make journal small

を追加して、journal のファイルサイズを小さくした所、2.4GB ぐらいでフィニッシュして、docker push もできるようになった。

(追記) start が意味ない

あらかじめ起動状態にしておきたいと思って、RUN /etc/init.d/mongod start などとしておいたが、docker run -i -t sonots/docker-ruby bash して中に入って確認してみた所、起動していなかった。/sbin/chkconfig mongod on としてみたりもしたがやはり起動していなかった。

バックグラウンドサービスは起動しておけないのかな。

ということで、

RUN /etc/init.d/mongod start && /etc/init.d/mongod stop 

のようにして初回起動時に作られるファイルだけあらかじめ作っておき終了して、あとは実際に使うときに起動することにした。 

できたもの

できたものは https://index.docker.io/u/sonots/docker-ruby/ にあります。 結構サイズ大きいので注意(2.4GB)

ruby が色々入っている docker イメージを作っておいた。自分のために一回まとめておく。

Docker は Ubuntu 推奨だが、深淵な理由により Vagrant で CentOS 6.5 環境で動くことを確認しながら作業。

vagrant box add centos-6.5 https://github.com/2creatives/vagrant-centos/releases/download/v6.5.1/centos65-x86_64-20131205.box
vagrant init centos-6.5

Vagrant の CentOS 6.5 環境はネットワークが遅延してすごく遅くなるっぽいので以下のような Vagrantfile で対応。

VAGRANTFILE_API_VERSION = "2"

Vagrant.configure(VAGRANTFILE_API_VERSION) do |config|
  config.vm.box = "centos-6.5"
  config.vm.box_url = "https://github.com/2creatives/vagrant-centos/releases/download/v6.5.1/centos65-x86_64-20131205.box"
  config.vm.network :private_network, ip: "192.168.33.10"
  config.vm.synced_folder ".", "/vagrant", nfs: true
  config.vm.provider :virtualbox do |vb|
    vb.customize ["modifyvm", :id, "--cpus", "4"]
    vb.customize ["modifyvm", :id, "--memory", "2048"]
    # IPv6とDNSでのネットワーク遅延対策で追記
    vb.customize ["modifyvm", :id, "--natdnsproxy1", "off"]
    vb.customize ["modifyvm", :id, "--natdnshostresolver1", "off"]
  end
end

マシンに入って Docker のインストール.

sudo yum install docker-io
sudo /etc/init.d/docker start

Dockerfile の作成. こんなかんじにして、1.9.3, 2.0.0, 2.1 を pre-install しておくことにした。 ポイントはdocker 内で環境変数を使おうと思ったら普通は ENV を使うんだけど docker commit すると消えてしまうのがめんどくさいので、/etc/profile.d/rbenv.sh に書いておいて bash -lc してコマンドを打つ事で使えるようにしている点と、
 ruby-build(rbenv)でビルド時に名前を指定する のテクニックを使って patch level を省略して rbenv local 1.9.3 のように使えるようにしているところかな。

FROM centos
# packages
RUN yum groupinstall -y "Development tools"
RUN yum -y install openssl openssl-devel readline-devel readline compat-readline5 libxml2-devel libxslt-devel libyaml-devel git
# rbenv
RUN git clone https://github.com/sstephenson/rbenv.git ~/.rbenv
RUN mkdir -p ~/.rbenv/plugins && git clone https://github.com/sstephenson/ruby-build.git ~/.rbenv/plugins/ruby-build
RUN echo -e 'export ATH=~/.rbenv/bin:$PATH\neval "$(rbenv init -)"' >> /etc/profile.d/rbenv.sh
# ruby
ENV CONFIGURE_OPTS --disable-install-doc
RUN bash -lc '~/.rbenv/plugins/ruby-build/bin/ruby-build 1.9.3-p545 ~/.rbenv/versions/1.9.3'
RUN bash -lc '~/.rbenv/plugins/ruby-build/bin/ruby-build 2.0.0-p451 ~/.rbenv/versions/2.0.0'
RUN bash -lc '~/.rbenv/plugins/ruby-build/bin/ruby-build 2.1.1 ~/.rbenv/versions/2.1'
# bundler for all ruby
RUN echo 'gem: --no-rdoc --no-ri' >> /.gemrc
RUN bash -lc 'for v in 1.9.3 2.0.0 2.1; do rbenv global $v; gem install bundler; done'

ビルド

docker build -t sonots/ruby .

プッシュ

docker push sonots/ruby

したものがこちらにあります => https://index.docker.io/u/sonots/ruby/

これにさらに mongo, mysql, redis, memcached などを加えて travis のコンテナっぽくして、@takus のDocker/Drone を CentOS 6.5 で動かして Github Enterprise のリポジトリをテストする環境を使ってテストを流せるようにする予定。＃ travis は Docker ではないが、こんなかんじで各言語ごとに１コンテナ用意しているらしい。たぶん。

続き: ruby と mongodb, mysql, redis, memcached を入れた docker イメージを作ったメモ