SHIBUYA Synapse #2に参加して強化学習について聞いてきた話。まとめ。
なんとなく抽選に申し込んでおいたら当選したので、11月23日にDeNAさん主催の「SHIBUYA Synapse #2」に参加してきました。今回はお話を聞きながらメモ代わりにツイートもしたので、貼り付けつつ振り返ってみたいと思います。
強化学習って?
強化学習とは、ざっくり書くと「試行錯誤を通じて環境に適応する学習制御の枠組み」のことだと認識しています。
○○をするとプラス20点、△△だとマイナス15点、みたいな報酬を最大化する取り組み、と言ってもいいかも。(意訳)
当日のおしながき
サイトから転載。敬称略。
- 1. ゲームAIのこれから〜ゲーム開発工程における人工知能「ゲームの外のAI」の促進に向けて〜 by 三宅 陽一郎、眞鍋 和子(株式会社スクウェア・エニックス)
- 2. 強化学習技術とゲームAI 〜今できる事と今後できて欲しい事〜 by 甲野 佑(株式会社ディー・エヌ・エー)
- 3. 「将棋プログラムPonanzaにおける強化学習とディープラーニングの応用」by 大渡 勝己(HEROZ株式会社)
- 4. 「ゲーム体験を支える強化学習の実応用について」by 奥村 エルネスト 純(株式会社ディー・エヌ・エー)
すごいメンバー。
全体の流れはtogetterまとめになっていました。ありがとうございます!
1. ゲームAIのこれから
前半
三宅さんのパートでは、FF15の事例を通じてスクウェア・エニックスがAIについてどんな取り組みをしたかが紹介されました。
三宅さんは色んなところで講演されているので、一か所にまとまっているSlideShareからどうぞ。
www.slideshare.net
ゲームAIに関する三宅さんの考え方は下の本でカバーできるので、興味がある方は読んでみるといいかも。
人工知能の作り方 ――「おもしろい」ゲームAIはいかにして動くのか
- 作者: 三宅陽一郎
- 出版社/メーカー: 技術評論社
- 発売日: 2016/12/06
- メディア: 単行本(ソフトカバー)
- この商品を含むブログを見る
後半
眞鍋さんのパートでは、AIを使ったQAの手法を紹介。スライドが見つからなかったのですが、基本的にはCEDECの講演と同じ内容と思われます。
www.inside-games.jp
講演資料が欲しい方はこちらから。
遺伝的アルゴリズムによる人工知能を用いたゲームバランス調整
グリムノーツというゲームの中で、パーティを組んで戦闘をさせたときにどんな結果になったかを評価値にして比較して、みたいな話でした。組み合わせ大変そうですもんね……。
2. 強化学習技術とゲームAI
DeNA甲野さんの発表。強化学習がどのようなものかを、ゲームAIと関連付けてお話ししてくれました。すぐに使ってみたくなるくらいの分かりやすさ!
www.slideshare.net
Shibuya Synapse #2聴きにきてる。今日のお題は強化学習とゲームAI。難しいと言われる強化学習だけれど、要約するとつまりは「パブロフの犬」ということみたい。肝は適正な条件付けと報酬。未経験の事柄に対して報酬を設けることで「好奇心」を獲得するというのは目からウロコ。 pic.twitter.com/tmRJd4vOWQ
— 詩音 (@sionff) 2017年11月23日
3. 将棋プログラムPonanzaにおける強化学習とディープラーニングの応用
HEROZ-JAPAN大渡さんの発表。名人に勝ったことで有名な将棋プログラムのPonanza、その裏側……というと大げさですが、考え方について解説。ひたすらすごい。
www.slideshare.net
今度はPonanzaの話。完全情報ゲームだから基本は木探索、だけどコストを出来るだけ削減したいよね、で画像のような考え方になる。納得。 pic.twitter.com/QOHqfSic0a
— 詩音 (@sionff) 2017年11月23日
やっぱりCNNなのね……。9×9の画像として認識させるんだって。 pic.twitter.com/vJq4HwpJ5u
— 詩音 (@sionff) 2017年11月23日
4. ゲーム体験を支える強化学習の実応用について
DeNA奥村さんの発表。「逆転オセロニア」というスマホゲームの開発・QA事例に基づいて説明してくれました。組み合わせ爆発してしまうところを、どのように上手く回避していくか。こちらも分かりやすい!
www.slideshare.net
最後はオセロニアの話。マイルストーンの置き方が参考になりそう。分かりやすいなー。 pic.twitter.com/brlCxg6pI4
— 詩音 (@sionff) 2017年11月23日
次元削減しつつキャラ付け。これは色々応用が利きそう。映画の内容の傾向とか言葉の印象とか、フィーチャー化してうんぬんかんぬん。そりゃそうだよね。 pic.twitter.com/Y4meLtHpsK
— 詩音 (@sionff) 2017年11月23日
おまけ。写真
ほぼ一番乗りだったのでがらーん。すぐ満員になりました!
DeNAマークだ!
おやつやコーヒーも飲み食い自由でした。素敵。
オセロニアとPonanzaの話は重複する部分があったけれど、考え方は一緒、という点ではとても参考になる。とにかく早く手をつけて自社で知見を貯め込んでいくスピード感も必要になりそう。面白いね。
— 詩音 (@sionff) 2017年11月23日
主催ならびにスピーカーの皆様、ありがとうございました!