@tomooda: あれは素晴らしい本だし、コンパイラの理論はとても重要だけど、...

あれは素晴らしい本だし、コンパイラの理論はとても重要だけど、それが自然言語UIの進歩を阻んできたと思う。ニンゲンの言葉を理解するためには、字句解析と構文解析は逐次実行ではなく、並行動作しなければならないから。特に、分かち書きでない言語（日本語を含む）では顕著。音声はほぼ全言語。

View Tweet

だからOCRはA*やViterbiが必要だったし、NNが決定打になったのも、それらのアルゴリズムが字句的な認識と構文的な認識を並行動作させながら文全体あるいはフレーズ全体のホリスティックな扱いをすることができたから。発話も同様。ニンゲンの認知はパイプラインで動いてはいない。

別の言い方をすると、ニンゲンの言葉を適切に扱うためには、コンパイラの構成などで大成功したチョムスキー的な還元論・決定論な言語観を破る必要があった。一方でNN的なアプローチだけでプログラミング言語を扱おうとするとバグが湧き出るわけで、やっぱり銀の弾丸なんてないっていう至極当然な結論。