Googleニューラル機械翻訳

2017年3月27日 2026年3月8日 MaruyamaFujio

3月27日マルレク第六回

講演概要

　RNNの応用の目覚ましい成果の一つは、昨年末に発表されたGoogle翻訳の進化です。機械翻訳の精度は、飛躍的に向上しました。講演では、Google翻訳が、どのようにRNN　(deep LSTM)を利用しているかを解説しようと思います。

同時に、RNN/LSTMの制限を越えようとする研究も活発に行われています。

　講演では、こうした新しい探求の代表例として、Google DeepDreamチームのDNC(differentiable neural computer)のアーキテクチャーを取り上げようと思います。コンピュータのメモリーを積極的に利用しようというこのアプローチは、ニューラル・ネットワークの枠を超えて、新しいコンピュータ・アーキテクチャーの提案としても興味深いものです。

はじめに

2012年から始まったディープラーニングのブームは、5年経った今また、新しい展開を見せはじめている。
一つは、昨年11月に製品版のサービスが始まったGoogleのニューラル機械翻訳が、素晴らしい成長を見せたことだ。翻訳の分野での成果だが、自然言語処理の飛躍的な発展が起こるかもしれないと期待させるものだ。

もう一つは、同じく、Googleが昨年末に発表した、DNC (Differentiable Neural Computer) だ。視覚を中心とした感覚・運動系の処理が得意なCNNや、言語等のシーケンス処理が得意なRNNとは、違う分野（論理的推論）に違うアーキテクチャーで挑戦しようとしている。アーキテクチャー的には、ディープラーニング技術の発展形ではあるのだが、ノイマン型コンピューターの拡張のようにも見える。

筆者は、人工知能研究は、以前にも述べたように、今後、次のような領域に拡大するものと考えている。
　・人間固有の言語能力の機械による実現。
　・人間の数学的・論理的な推論能力に関わるもの。

こうした展望から見ると、昨今の動きは、とても興味ふかいものである。ただ、こうした未来の人工知能が、現在のディープラーニング技術から直接発展していくものなのかについては、いろいろな可能性があることを意識したほうがいいとも考えている。

今回のセミナーでは、時間と内容の両面で、両方を取り上げるのは難しいと判断した。今回は、Google翻訳を中心におこうと思う。DNCについては、次回のマルレクのテーマにしたいと思っている。