2/10 に開かれた DeNA Technology Conference 2017 と 2/17 に開かれた Developers Summit 2017 で講演をしてきたので資料をおいておきます。

DeNA TechCon では、AIレーンでのトークということで、AIに関わりのある機械学習基盤の話にだけ絞って「DeNA AIシステム部におけるクラウドを活用した機械学習基盤の構築」というタイトルで話してきました。

AI、特にディープラーニングの流行により、これから機械学習基盤を構築しなければならなくなっているインフラエンジニアだったり、AIエンジニアだったりが増えていると思います。 そういう方々に参考になれば幸いです。

Developers Summit では、AIに縛らずに、機械学習基盤の話と分析基盤の話をしてきました。

分析基盤の話は「DeNA流データエンジニアリングの極意」とタイトルを付けていて、自分がAIシステム部(旧称 分析基盤部)に来てから得たノウハウを凝縮したものになっていると思っています。

これから分析基盤を構築して、データエンジニアリングを行うような方々の参考になれば幸いです。前半の機械学習基盤の部分は DeNA TechCon でのトークと被るのでアップロードした資料からは除いてあります。

また、Developers Summit では、最近作っている Triglav (トリグラフ)というツールの紹介も行いました。ソースコードは

https://github.com/triglav-dataflow

で公開しています。このツールは、既存のワークフローツールでは解決できないような、分断されたアプリケーション間のワークフロー形成をデータ指向で支援するツールです。

データ指向でつながりを形成するので、古のツールでデータ取り込みが行われていた場合でも、ストレージさえ現役であればつながりを持たせることができます。

複数の Jenkins 間のつながりをもたせるといった課題を解決することもできます。

弊社以外でも類似の状況で困っている方々はいらっしゃると思うので、是非ご確認ください。




おわりに: 今年は DeNA TechCon (こちらはDeNA社員)でも Dev Sumi (こちらは有志)でもグラフィックレコーディングしてもらえてとても嬉しかったです。スゴイ。ありがとうございます╭( ･ㅂ･)و ̑̑