周回遅れでIT業界デビューしたプロジェクトマネージャーのブログ

就職氷河期にモロにぶち当たり、人生で混迷を極めた末にIT業界に安寧を見出そうとしているアラフォーの活動日記です。

SHIBUYA Synapse #2に参加して強化学習について聞いてきた話。まとめ。

f:id:sionff:20171129095336j:plain

なんとなく抽選に申し込んでおいたら当選したので、11月23日にDeNAさん主催の「SHIBUYA Synapse #2」に参加してきました。今回はお話を聞きながらメモ代わりにツイートもしたので、貼り付けつつ振り返ってみたいと思います。

強化学習って?

強化学習とは、ざっくり書くと「試行錯誤を通じて環境に適応する学習制御の枠組み」のことだと認識しています。

○○をするとプラス20点、△△だとマイナス15点、みたいな報酬を最大化する取り組み、と言ってもいいかも。(意訳)

当日のおしながき

サイトから転載。敬称略。

  • 1. ゲームAIのこれから〜ゲーム開発工程における人工知能「ゲームの外のAI」の促進に向けて〜 by 三宅 陽一郎、眞鍋 和子(株式会社スクウェア・エニックス)
  • 2. 強化学習技術とゲームAI 〜今できる事と今後できて欲しい事〜 by 甲野 佑(株式会社ディー・エヌ・エー)
  • 3. 「将棋プログラムPonanzaにおける強化学習とディープラーニングの応用」by 大渡 勝己(HEROZ株式会社)
  • 4. 「ゲーム体験を支える強化学習の実応用について」by 奥村 エルネスト 純(株式会社ディー・エヌ・エー)

すごいメンバー。

全体の流れはtogetterまとめになっていました。ありがとうございます!

1. ゲームAIのこれから

前半

三宅さんのパートでは、FF15の事例を通じてスクウェア・エニックスがAIについてどんな取り組みをしたかが紹介されました。

三宅さんは色んなところで講演されているので、一か所にまとまっているSlideShareからどうぞ。
www.slideshare.net

ゲームAIに関する三宅さんの考え方は下の本でカバーできるので、興味がある方は読んでみるといいかも。

人工知能の作り方 ――「おもしろい」ゲームAIはいかにして動くのか

人工知能の作り方 ――「おもしろい」ゲームAIはいかにして動くのか

後半

眞鍋さんのパートでは、AIを使ったQAの手法を紹介。スライドが見つからなかったのですが、基本的にはCEDECの講演と同じ内容と思われます。
www.inside-games.jp

講演資料が欲しい方はこちらから。
遺伝的アルゴリズムによる人工知能を用いたゲームバランス調整

グリムノーツというゲームの中で、パーティを組んで戦闘をさせたときにどんな結果になったかを評価値にして比較して、みたいな話でした。組み合わせ大変そうですもんね……。

2. 強化学習技術とゲームAI

DeNA甲野さんの発表。強化学習がどのようなものかを、ゲームAIと関連付けてお話ししてくれました。すぐに使ってみたくなるくらいの分かりやすさ!

www.slideshare.net

3. 将棋プログラムPonanzaにおける強化学習とディープラーニングの応用

HEROZ-JAPAN大渡さんの発表。名人に勝ったことで有名な将棋プログラムのPonanza、その裏側……というと大げさですが、考え方について解説。ひたすらすごい。

www.slideshare.net

4. ゲーム体験を支える強化学習の実応用について

DeNA奥村さんの発表。「逆転オセロニア」というスマホゲームの開発・QA事例に基づいて説明してくれました。組み合わせ爆発してしまうところを、どのように上手く回避していくか。こちらも分かりやすい!

www.slideshare.net

おまけ。写真

f:id:sionff:20171129095201j:plain
ほぼ一番乗りだったのでがらーん。すぐ満員になりました!

f:id:sionff:20171129095255j:plain
DeNAマークだ!

f:id:sionff:20171129095311j:plain
おやつやコーヒーも飲み食い自由でした。素敵。

主催ならびにスピーカーの皆様、ありがとうございました!