Deep Dive Audio

マルレク「LLMと意味の理論モデル概説」の音声概要をまとめたページです。

LLMは意味をどう捉えるか？

この音声概要は、セミナー終了後に作成したものです。セミナー全体のまとめになっています。
個別的・技術的細部に入る前に、こちらからお聞きになることをお勧めします。

こちらから、直接アクセスできます。

LLMの謎にカテゴリー論で迫る

この概要では、今度の連続セミナーで中心的に取り上げることになる、Bradleyらの問題意識とカテゴリー論を利用した取り組みを主に紹介しています。

彼女の近年の研究の成果である「マグニチュード」論がどのようなものか、どのような役割が期待されているのかについて、わかりやすい解説になっています。

LLMのテキスト・データに隠された構造を探る

この概要も、Bradleyの問題意識の要約になっています。重複はありますが、重要なことなので、色々な切り口で語られるのはいいかなと思います。

米田の補題の解釈が少し詳しく語られています。また、、LLMに与えられるテキスト・データ自身に構造が内在しているという視点は大事なポイントだと思います。

自然言語理解と量子論

この概要では、BradleyとCoeckeの二人のアプローチの違いを概説しています。Bradlyらは、実際のテキスト・データの中に統計的な構造が隠されていると考えるのに対して、Coeckeらは文法構造が先在すると考えます。

両者のアプローチは対照的ですが、両者の統合の可能性も示唆されています。

進むLLMの内部構造の理解

LLMの内部の動作を解析したVlassopoulosらの研究が、現在のLLMと意味の理論研究とどう交わる可能性を持つかを概説しています。

QNLPの最新動向

このトラックでは、Coeckeらのグループの論文 “Scalable and interpretable quantum natural language processing: an implementation on trapped ions” https://arxiv.org/pdf/2409.08777 を紹介しています。

現在の量子コンピュータのスケーラビリティの弱点とTransformaer モデルの解釈可能性の弱点（いわゆる「ブラックボックス問題」）という両方の問題を解決しうるアイデアが提示されています。

The post Deep Dive Audio 20250816 first appeared on MaruLabo.

公開したセミナー

講演資料

パートごとのドキュメントへのアクセスは、「公開詳細情報」をご利用ください。

講演ビデオ

↑ 見出しクリックで、セミナー全体のYouTube動画の再生リストにアクセスできます。

Deep Dive Audio 20250816

↑ 見出しクリックで、AIによるセミナーのコンテンツの音声概要を聞くことができます。
セミナー全体の音声概要「LLMは意味をどう捉えるか？」は、こちらからもアクセスできます。

公開詳細情報

↑ 見出しクリックでセミナーの公開詳細情報にアクセスできます。

AIによる調査レポート「意味論における数学的ルネサンス」

マルレク「LLMと意味の理論モデル概説」に対するAI(Gemini)による調査レポート「意味論における数学的ルネサンス：大規模言語モデルの新たな理論的枠組みに関する分析」です。セミナーの講演資料だいぶ長いのですが、この要約は正確だと思います。セミナーの概要を知るのにご利用ください。

LLMと意味の理論モデル概説

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

はじめに

LLMの言語の意味理解能力の獲得と驚異的な言語運用能力の実現という現実の進行を目の当たりにして、それを説明しようとする問題意識と理論が次々に生まれています。

MaruLaboでは、この夏以降しばらくの間、「LLMの理論モデルの新しい展開」という共通テーマで、複数のセミナーを連続して開催しようと思っています。

今回のセミナーは、今後予定している一連の「LLMの理論モデルの新しい展開」セミナーの全体の概要を紹介するものです。

Transformer意味論の問題

現在主流のTransformer意味論には、次のような問題があることが指摘されています。

1. 説明可能性の欠如=ブラックボックスとしてのLLM
   Transformerは、その驚異的な性能にもかかわらず、学習された表現の内部の論理を解読することが極めて困難です。
2. 意味の構成性と文脈依存性をめぐって　
   アテンションの重みは情報の混合比を決定するのですが、その合成を支配する明示的で厳密な文法的・論理的構造は存在しません。それは構造化された導出ではなく、重み付け和に過ぎないものです。
3. 学習データの巨大化と力まかせの処理
   Transformerアーキテクチャは、その成功のために膨大な量のデータと計算リソースを必要としています。その性能は、モデルとデータの規模に大きく依存しています。それは、LLMが学習に利用する言語データが、「何の構造も持たない」と前提しているからです。

先行した二つの研究とカテゴリー論の利用

LLMと意味の理解の問題に切り込んだ先駆的な研究が二つあります。

一つは、Tai-Danae Bradleyらの「米田埋め込み」にインスパイアされた enriched co-presheaf 意味論で、もう一つは、Bob Coeckeらの「言語はそもそも量子論的だ」というQNLPです。

BradleyとCoeckeのアプローチでには大きな違いもあるのですが、言語と意味の理解についてその「構成性」が重要であるという認識では、両者は一致しています。

両者は、何の構造も持たないように見える言語データ自身に、すでに構造が先在的に内在していると考えます。こうした構造を、「構造的プライア（structural prior）」と呼びます。

こうした、Bradley とCoeckeのアプローチは先に見た現在主流のTrnsformer意味論への共通の批判的立場を提供するものです。

両者はまた、カテゴリー論（圏論）を主要な数学的なツールとして用いています。これも大きな特徴です。

Bradleyのenriched cayegiryの利用、Coeckeのcompact closed category の利用は、特徴的なものです。また、両者は文法的=構文論的なカテゴリーから意味のカテゴリーの導出に、二つのカテゴリーの構造を保存する functor(関手)を利用します。

こうしたカテゴリー論的フレームワークは、次の節で見るLLMと意味の理論をめぐる現在進行中の様々な取り組みに大きな影響を与えています。

LLMと意味の理論モデルの新しい展開

こうした先駆的な研究を受けて、現在、活発に研究されているLLMと意味の理論では、僕は次の三つの流れに注目しています。今回の連続セミナーで取り上げようと思っているのは、こうした流れです。

ここでは、こうした流れの特徴を簡単に紹介しようと思います。あわせて、それらを代表する論文を上げておこうと思います。

1. Bradleyらの意味の距離空間モデルとMagnitude概念の導入
   
   Bradleyは、現在のLLMの働きを反映しているテキストの確率論的モデルに、再び enriched categoryの手法を適用して、新しいMagnitude概念をベースとした意味の距離空間モデルを構築し、そこが意味解釈の舞台として望ましい性質を持っていることを示しました。
   
   ・The Magnitude of Categories of Texts Enriched by Language Models
   
2. Coeckeらの量子コンピュータ上でのQNLP実装の進展
   
   Coeckeらは、限られた実験環境のもとでも、着実に量子コンピュータ上での自然言語処理の実装を進めています。特に近年のsurface codeを中心とする量子コンピュータ実装技術の発展は、大きな追い風になっています。
   
   ・Scalable and interpretable quantum natural language processing: an implementation on trapped ions
   
3. VlassopoulosらのLLMの内部動作の解析
   
   上の二つの流れとは、少し異なる取り組みです。LLMに外部から入力として与えられている学習データやLLMの外部への出力の特徴を分析するのではなく、現在のLLMの内部の振る舞いを具体的に数学的に解析しようとしたものです。驚くべきことに、その解析結果は、Bradleyらの意味モデルを支持するものになっています。
   
   ・Directed Metric Structures arising in Large Language Models

新しいモデルの数学的ツール

この注目すべき三つの流れは、それぞれ異なる数学的なツールを中心的に利用しています。その概略を紹介します。

• 第一のBradleyらのグループの理論展開では、magnitude論、magnitude homology論の利用が目を惹きます。magnitude論を用いて「意味の近さ」だけでなく「意味の形」「意味の空間の幾何学（例えば、「意味空間の穴」）」が縦横に語られます。
  
  magnitude論は、エントロピー論と深い関係を持っているのですが、Bradleyの論文は、基本的には言語理論の論文なのですが、統計力学の分配関数に遡って、シャノン・エントロピーとmagnitudeとの関係が論じられています。
  
• 第二のCoeckeらのグループの研究が利用する数学的ツールで興味深いのは、CoeckeがQNLPとは独立に（おそらく）量子力学のツールとして展開してきた string diagramを利用するZX-calculusの技術が、ぴたりと彼のQNLPの理論と実験の中に組み込まれようとしていることです。
  
  ZX−calculusは、現在の量子コンピュータ技術の革新の中心であるsurface codeの基礎理論として、熱い期待を集めている技術です。
  
• 第三のVslassopoulosらの用いる数学的ツールは、少しなじみがないものかもしれません。それは、Tropical代数と言われるツールです。
  
  Tropical代数については、マルレクで取り上げたことがあります。次の資料を参照ください。
  
  ・ニューラル・ネットワークの数理 −− Tropical代数入門

今回のセミナーの目的

こうしたトピックを取り上げて、今後の「LLMの理論モデルの新しい展開」を共通のテーマとする連続セミナーの概要を明らかにすることが目的です。

セミナーに向けたセッション資料

Transformer意味論の問題とLLMの理論モデルの新しい展開

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

LLMの理論モデルの新しい展開については、次の音声概要をご利用ください

新しい展開の理論的背景を探る −− 二つの先行研究

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

大規模言語モデル登場の衝撃とBradleyの理論の発展

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Bradleyのcopresheaf意味論

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Appendix B: Bradley論文リスト

arXivに投稿したBradleyの論文リストです。Abstractが読めます。
こちらのblogの方が読みやすいかもしれません。
https://maruyama097.blogspot.com/2025/08/taidanae-bradley-biblio.html

The post LLMと意味の理論モデル概説 first appeared on MaruLabo.

Part 1 Surface code Measure qubit

Data qubit と Measure qubit

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Z-Measure qubit の働きと パリティ

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

X-Measure qubit

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

CNOTとアダマールで遊ぶ

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Z-Measure qubit と X-Measure qubit

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 2 Logical qubit と Logical operator

Two-level quantum system

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Logical qubit と Logical operator

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Quiescent state

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

「Surface code と Stabilizer 2」へのお誘い

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Surface code Logical qubit

Logical qubit ( d = 5 )の定義を見る

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

The post Surface code と Stabilizer 2 first appeared on MaruLabo.

マルレク・コラムの音声による概要紹介を始めました

マルレクのコラム「現在・過去・未来」の音声による概要紹介を始めました。

「ショート・ムービー」と言いながら30分を超えて誰もみてくれなかったり、「リール動画」は話の最初の数十秒で切れて何も伝わらなかったり。マルレクのたびに、その概要を伝えるのに苦労していました。

AIが生成した、音声による概要のまとめは違います。
充分短いですが、ちゃんと完結したストーリーで概要を語ってくれます。素晴らしい！

不思議な数

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

ラマヌジャンのMoonshine

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

1 + 196883 = 196884

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

145億年間、宇宙を旅した光子の物語

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

新しい数学と新しい物理学

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Turingの「機械は考えることができるか？」論文から、今年は75周年にあたります

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

The post コラム「現在・過去・未来」 first appeared on MaruLabo.

セミナー公開情報とお詫び

このセミナーのまとめページとセミナー受講者に送った pdfのURLのリンクが、いつからか切れていました。今回、pdfのリンクを新しいものに貼り直しました。ご迷惑をおかけしました。気がつくのが遅くてすみませんでした。

セミナー公開情報

セミナーの講演ビデオ全体のの再生リストは、こちらです。

セミナーの講演資料を一つにまとめたpdfファイルは、こちらです。

セミナーに向けたショートムービーの再生リストは、こちらです。

より詳細なPartごとの公開情報は、こちらからアクセスできます。

マルレク「Surface code とStabilizer」へのお誘い

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 1　量子回路の基礎

量子ゲート X,Z,H

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

ゲートから量子回路を構成する

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

エンタングルメントと量子回路

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

二つのqubitを観測する量子回路

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 2　Stabilizer code

エラー訂正技術の歴史から学ぶ

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Hamming code

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

古典コードから量子コードへ

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Stabilizer Formalism

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

関連ページ

量子エラー訂正技術の動向

The post Surface code と Stabilizer first appeared on MaruLabo.

量子エラー訂正技術の前進

生成AIのニュースの影に隠れてあまり目立たなかったかもしれませんが、2023年、2024年と、量子コンピュータの量子エラー訂正技術の分野で大きな前進がありました。

一般誌でも、取り上げられた、代表的なものを二つ紹介します。

一つは、2023年のGoogleの量子エラー訂正にsurface codeの手法を導入した、Nature誌への投稿論文で、量子エラー訂正技術のマイルストーンを超えたと評されました。

もう一つは、2024年のMicrosoftとQuantinuumの論文で、論理qubitのエラーを物理qubitのエラーの800分の1にしたとして注目を集めました。

NISQの時代から、ノイズ耐性を持つResilientコンピューティングの時代へ

こうした量子エラー訂正技術の大きな前進は、かつて（2017年に） Preskill が、量子コンピューティングの現状を、「NISQ　(Noisy Intermediate-Scale Quantum)の時代」と特徴づけた時代から、次の時代、すなわち、ノイズ耐性を持つResilient量子コンピューティングの時代にさし掛かりつつあると考えることができることを意味します。

ここでは、我々がどのような時代にいるのかを確認するために、あらためて、Preskillのいう「NISQの時代」の意味を振り返っておこうと思います。

Preskillの「NISQ時代」論

「フォールト・トレラントな量子コンピュータは、今では、まだ遠い夢だとしても、現在、我々は、量子技術における重要な新時代に入ろうとしている。この差し迫った新しい時代を表現するために名前が必要なので、私はNISQという言葉を作った。これは、Noisy Intermediate-Scale Quantumの略である。」

「ここで「Intermediate-Scale 」とは、数年後に利用可能となる、量子ビット数が50から数百程度までの量子コンピュータのサイズを指す。50qubitは、重要なマイルストーンである。それは、最も強力な既存のデジタル・スーパーコンピュータを使用して力づくでシミュレートできるものを超えているからである。」

「「Noisy」とは、我々がそれらのqubitを不完全にしかコントロールできないことを強調している。ノイズは、当面の量子デバイスが達成できることに、重大な制限を課すだろう。」

「物理学者はこのNISQ技術に興奮している。というのも、それが、多数のもつれた粒子の物理学を探求する新しいツールを我々に提供しているからである。この講演の聴衆（ビジネス・コミュニティ）に関心を持つような有用な応用があるかもしれないが、それについては、確かなことは分からない。」

「我々は、NISQそれ自体を、世界を変えるものだと期待すべきではない。そうではなく、それは、将来において開発されるより強力な量子技術への一歩と見なされるべきである。」

「私は、最終的には、量子コンピュータが、社会を変えるような影響を与えると考えているのだが、それにはまだ数十年かかるかもしれない。どれくらいの時間がかかるか、確かなことはわからない。」

セミナーの目標

今回のセミナーでは、NISQを超えた新しい量子技術の時代を切り開きつつある量子エラー訂正技術の現状を紹介することにフォーカスしようと思います。

量子コンピューティングの未来展望と現実的な課題への応用の可能性については、以前のマルレク「量子コンピューティングの現状と課題」 http://marulabo.conohawing.com/test/docs/20180622-marulec/ を参照ください。資料が、次からダウンロードできます。
https://drive.google.com/file/d/1C8B56SW8rYMztcnZRK3G_oAoh4md85rN/view　

参考資料

セミナーでは、次の二つの論文への流れを紹介できればと思っています。

“Quantum error correction below the surface code threshold” (2024/08/24)　https://arxiv.org/html/2408.13687v1

“Demonstration of logical qubits and repeated error correction with better-than-physical error rates”(2024/11/17) https://arxiv.org/pdf/2404.02280

参考ビデオ

“Introduction to surface codes” , Alexsei Kitaev
https://youtu.be/M25fBmF9XR0

“Exmentalist View of Surface Code” , John Martines
https://youtu.be/ed9CfJLto1I

“Microsoft and Quantinuum demonstrate the most reliable logical qubits on record”
https://www.youtube.com/watch?v=He4GQiiDyGg

セミナー予告「量子エラー訂正技術の動向」

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

マルレク「量子エラー訂正技術の動向」へのお誘い

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 1 量子エラー訂正技術の基礎

ハードウェアの構成

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

qubitの状態の表現

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

qubitの状態の変化

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

qubitの状態の観測

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 2 Shor codeとStabilizer

Stabilizerとは何か？

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Shor code (1) −− Shorが考えたこと

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

観測と射影演算子

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Syndrome Measurement −− Bit flipの検出

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

もう一つのBit flipの観測演算子

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Phase flipの検出

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

bit flipとphase flip の検出まとめ

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

関連ページ

Surface code と Stabilizer

The post 量子エラー訂正技術の動向 first appeared on MaruLabo.

9/28 マルレク「計算複雑性理論入門」　コンテンツ公開の詳細

このセミナーのコンテンツの詳細については、↑のリンクをクリックください。
ビデオ、講演資料を一つにまとめたものだけでなく、各パートごとに分割したものにもアクセスできます。

はじめに

セミナータイトルを、「コンピュータと数学 2」から「計算複雑性理論入門」に変更しました。

今回のセミナーは、前回のセミナーと基本的な議論は連続しています。

それは、コンピュータとAI技術の次の未来を展望するうえで、人間の二つの基本的能力である「言語能力」と「数学的能力」の「統合」の課題が重要だという議論です。

そうした立場から、前回のセミナー「コンピュータと数学 — TuringからVoevodskyまで」では、コンピュータにはそもそも「数学的能力」が備わっているのではという問題意識を述べてきました。

そこでは、コンピュータの持つ数学的能力の(再)発見の突破口となった「計算 ＝ 証明 = プログラミング」という認識の成立の場所である「型の理論」を取り上げ、実際にコンピュータによる証明の例を紹介しててきました。

今回のセミナー「計算複雑性理論入門 — Turingマシンから量子コンピュータまで」では、こうした論点をさらに深める上で、計算科学の代表的な数学理論である「計算複雑性理論」に注目しようと思います。

Gödelの「不完全性定理」と「計算可能性理論」

少し歴史を遡ってみましょう。

現実にコンピュータが登場するはるか以前の1930年代に、Gödelの「不完全性定理」の強い衝撃の中で、「数学的に計算できるものとは何か？」という問いの中から、Gödel – Church – Turing らによって、「計算可能性理論」が生まれました。

「計算可能性理論」は、計算可能なものと計算不可能なものとを区別する基準を数学的に定義することに成功します。それは、ゲーデルの「不完全性定理」の背後にある構造の理解を可能とする「計算不可能性理論」と言ってもいいものです。

そのエッセンスは、「計算可能な計算はすべて、ある帰納的チューリングマシンによって実行される」という「チャーチ=チューリングのテーゼ」です。

彼らが切り開いたのは、数学的能力をはじめとして人間の知性と認識能力自身の限界を数学的分析の対象とするという、これまでの数学にはなかった新しい探究の道でした。彼らが始めた「計算可能性理論」が「計算複雑性理論」の第一世代だと考えていいと思います。

計算複雑性理論の登場

ただ、それで計算可能なものの境界が明確になったかというと、必ずしもそうではありませんでした。「計算可能性理論」では理論的には「計算可能」とされる計算でも、実際には計算できそうもないものがあることは、数学的には知られていました。

1950年代にはコンピュータが登場します。1960年代に入ってその利用は飛躍的に拡大を始めます。そうした背景の中で、1970年代になって、「計算複雑性理論」が登場します。

それは、先に述べた「理論的には計算可能だが、現実には手に負えない」領域も視野に入れて、計算可能なものの世界の内部により実際的でより現実的な分類、簡単に計算可能な問題から計算が難しい問題の階層を新たに導入しようという理論です。こうして導入された分類を、「計算複雑性」といいます。

「計算複雑性理論」の実際の成立の過程は先行した「計算可能性理論」の影響を受けもう少し複雑なのですが、それは、客観的には、「コンピュータで実際に計算可能なものとはどういうものなのか？」を考える理論だと考えていいと思います。

よく混同されるのですが、それはフラクタルやカオス等を対象とした、いわゆる「複雑系の理論」とは異なるものです。

今、考えるべきこと

では、なぜ 「生成AI」が大ブレイクしている今、1930年代や1970年代に起源を持つ「計算可能性理論」や「計算複雑性理論」また、1980年代に起源を持つ「型の理論」といった「古い理論」に注目するのでしょう？

それは、冒頭に述べた「コンピュータとAI技術の次の未来を展望する」という問題意識から発するものです。

私たちは、「機械の知能は、どこまで発展しうるのか？」という問題を考える必要があります。重要なことは、その問題は、「我々人間の認識は、どこまで発展しうるのか？」という問題と同時に提起されているということです。

楽観論者も悲観論者も入り混じっているのですが、我々がそうした問題の前に立たされていることは、多くの人が、感じていることだと思います。

なぜ「計算複雑性理論」なのか？

「計算複雑性理論」は、人間の数学的な認識能力の拡大とその限界を「現実的」に境界付けようという理論なのですが、その理論は、基本的に、「チャーチ＝チューリング・テーゼ」に基づいて計算という人間の数学的能力に「チューリング・マシン」という機械的なモデルを与えることで展開します。

それは、人間が可能な計算の現実的な限界の理論であると同時に、そのモデルである機械が可能な計算の限界の理論でもあるのです。

それは、人間の認識の限界の理論であると同時に、機械の認識の限界の理論でもあるのです。

「計算複雑性理論」が示すそうした視点は、我々が今考えるべき、機械と人間の認識能力の発展の可能性について、また、機械と人間の未来での関係について、多くの示唆を与えると僕は考えています。

「計算複雑性理論」を学ぼう

「計算複雑性理論」は、けっして古い理論ではありません。それは、「人工知能論」の基本的な数学理論として、十分に有効だと思います。

この間の経験に照らせば、先行した数学的理論が、コンピュータの世界で技術的な応用を獲得するまで、数十年の時間を要することは、珍しいことではありません。

今回のセミナーでは、前半で「多項式時間と指数関数的時間」「P問題ととNP問題」「NP完全問題」といった「計算複雑性理論」の基本的な概念を紹介しようと思います。

セミナーの後半では、チューリング・マシンの拡大に伴って、対応する複雑性のクラスが拡大し、「拡大されたチャーチ＝チューリング・テーゼ」のもとで、そうした複雑性クラスの拡大が、人間＝機械の能力の拡大として解釈されうることを見ていきたいと思います。

こうしてコンテキストのもとで、「量子コンピュータ」の位置付けを明確にすることができると思います。

計算可能性理論と計算複雑性理論

計算可能性理論とChurch-Turing Thesis

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

計算複雑性理論とは何か

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

計算複雑性の基本的階層

「時間計算量」と「空間計算量」

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

NP 問題

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

NP-完全問題

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Interlude

Tao、証明支援システムを語る

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

チューリングマシンの拡大と計算複雑性

非決定性チューリングマシンとNPクラス

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

確率的チューリングマシンとBPPクラス

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

量子チューリングマシンとBQPクラス

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

主要な計算複雑性クラスと対応するチューリングマシン

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Church-Turing Thesisの変化と量子情報理論

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

すべてのショートムービーを見る

The post 計算複雑性理論入門 first appeared on MaruLabo.

7/31 マルレク「コンピュータ上のグラフ理論の進化」コンテンツ公開の詳細

このセミナーのコンテンツの詳細については、↑のリンクをクリックください。
ビデオ、講演資料を一つにまとめたものだけでなく、各パートごとに分割したものにもアクセスできます。

構成の変更とコンテンツの補足について

7月のマルレクですが、次のAgendaのように構成を変更しました。

　　　　Agenda「コンピュータ上のグラフ理論の進化」

　　Part 1 はじめに – 「AIとグラフ」連続セミナーの流れ
　　Part 2　グラフとAIのSynchronicity
　　Part 3 グラフのカテゴリー論的特徴づけ　C-set
　　Part 4 物理シミレーションとグラフ

主要に、先月からの「AIとグラフ」というテーマとの関連を明確にするために、「はじめに – 「AIとグラフ」連続セミナーの流れ」を冒頭に置きました。

また、以前はInterludeとして紹介していた「物理シミレーションとグラフ」を最後に持ってきました。それに伴い、Decapodesプロジェクト紹介の補足として、今回新しいコンテンツ「単純な調和振動子をグラフで表現する」を追加しました。

AIの能力の次の飛躍の可能性

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

現在のLLMベースのAIに数学的能力を統合したいというのが僕の大きな問題意識なのですが、まだまだ考えなければいけないことがたくさんあります。二つの能力の統合には、一定の時間が必要だと思います。

ただ、言語のモデルと数学のモデルとが統合されうるのであれば、両者はある共通の特徴を持っているはずです。そうした特徴は、カテゴリー論によって与えられると考えています。

当面、グラフとAgent モデルの二つを糸口にして、そうした共通の特徴を考えることから始めていきたいと思います。

グラフとAIのSynchronicity

グラフ・ライブラリーの変化

このセクションは、現在のコンピュータのソフトウェアがグラフをどのように扱ってきたかを振り返ったものです。次の三つのセッションからなります。

　1. PyplotとNetworkX
　2. DOT言語とGraphviz
　3. AlgebraicJuliaとCatlib

重要なことは、こうした変化は、技術的な洗練にとどまらず、「グラフとは何か？」という基本的認識の理論的深化として捉えることができるということです。特に、最後に取り上げるAlgebraicJuliaのCatlibの技術的・理論的到達点は注目すべきものです。

非常に遠回りなアプローチですが、コンピュータ・サイエンスのある分野・グラフ描画の世界で起きている変化が、AI技術の未来の変化とシンクロしているのかもしれないと考えるのは、楽しいことです。

PyplotとNetworkX

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

DOT言語とGraphviz

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

AlgebraicJuliaとCatlab

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

グラフの数学的特徴づけ

Catlaboとは何か — 応用カテゴリー論のツール

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

C-Setとはなにか？

グラフをFunctorで捉える

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

CatlabでのC-setプログラミング

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

無向グラフと反射的グラフのスキーマ

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

グラフの準同型とグラフの積

物理シミレーションとグラフ

単純な調和振動子の式をグラフで表す

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

7/31 マルレク「コンピュータ上のグラフ理論の進化 」へのお誘い

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

The post コンピュータ上のグラフ理論の進化 — AIとグラフ2 first appeared on MaruLabo.

( pdf blog )

ChatGPTの訴求力はどこから来るのか？

ChatGPTが、多くの人に強い印象を与えるのには理由があります。

それは、ChatGPTが、機械が自在にことばを操る能力を獲得したように見えるからです。これまでは、ことばを操る能力はもっぱら人間だけのものだと考えられていましたから。

そして、機械が人間並の言語能力を獲得し始めたという認識は、正しいものだと僕は考えています。

大規模言語モデルと意味を表現する技術

それでは、こうした「機械の言語能力」の大きな飛躍は、どのような技術によって可能になったのでしょう？

それは、ChatGPTを生み出した「大規模言語モデル」が、機械の上でことばとその意味を表現する技術を発展させてきたからです。

機械が、機械の上でことばとその意味を表現する技術の中核技術は、「意味の分散表現」技術と言われるものです。

「意味の分散表現」技術の現在

今回のセミナー「ことばと意味の数学的構造」は、この「意味の分散表現」技術にフォーカスして、この技術をめぐる理論的動向を紹介するものです。

多くの技術は、理論的な基礎を持ちます。その理論は数学的形式を取ります。ただ、全ての技術が理論に導かれて発展してきたわけではありません。原爆を作れたのは、物理学の理論によるものでしたが、熱力学や統計力学が蒸気機関を生み出したわけではありません。

21世紀の「人工知能」技術は、18世紀の蒸気機関に似ています。この技術の背後にある理論 — それはまだ多くの謎に満ちています – を研究するフェーズが生まれているのです。

ChatGPTの言語能力と人間の言語能力

ただ、ChatGPTの言語能力と人間の言語能力には、大きな違いがあります。

ChatGPTは「対話のために最適化された」チャット・ボットで、その言語能力は、人間の言語能力のように人間の広く深い認識能力と統合されたものではありません。

ChatGPTは、我々の「外部」に存在する現実の「世界」とも、それらをすべて包み込む「自然」とも、直接の接点を持ちません。彼が直接に「認識」しているのは、ネット上に人間が撒き散らした膨大な「言語情報」だけです。

「自然」を知らない大規模言語モデルベースの「人工知能」は、物理学者にはなれません。また、彼らには、「数学する能力」が欠けています。

現代の科学・技術を支える「機械の能力」

重要なことは、そうした能力の欠如は、大規模言語モデルに固有の問題であって、機械そのもの弱点ではないということです。

現に「機械の認識能力」も「機械の計算能力」も、生身の人間では到底太刀打ちできないほど、飛躍的に発展しています。

顕微鏡・望遠鏡・加速器・重力波望遠鏡・宇宙望遠鏡 … これらは「機械による」認識能力の拡大に他なりません。コンピュータの登場による「計算能力」の拡大は画期的なものです。

機械と人間との「協力」関係

そうした「機械の能力」の飛躍的発展が現在の科学・技術の発展を支えているのです。我々は、すでに、機械との密接な協力関係を築いているのです。　

大規模言語モデルがしゃべり出したことは、いいことですし、驚くべきことですが、それはこれまで見てきたような人間と機械との科学と技術の分野での協力関係に「革命的」な変化をもたらすものとは、僕は思いません。

それは、「万巻の書」を読んだ仙人や、「科挙」の試験をパスし書かれたことはなんでも知っている優秀な「文官」や、「対話能力」だけは優れているがセールスマンが、科学・技術の発展に寄与したことの少なさを考えれば分かると思います。

それでも、大規模言語モデルの能力から学ぼう

それでも、大規模言語モデルが示している「機械の言語能力」から、学ぶことはとても重要だと思います。

それは、何よりも、我々自身の言語能力の、いまだ隠されている秘密を知る上で、重要なヒントを与えてくれるからです。その秘密は、数学の言葉で書かれていると僕は考えています。

運が良ければ、人間の言語能力から、さらに上位の能力である人間の数学的能力が立ち現れる、その根拠を見つけ出すことができるかもしれません。

こうした議論に興味がある方、ぜひ、4月のセミナーにいらしてください。

セミナーに向けたblog

• 研究では、問題の立て方が重要であること
• 区切りをどこに置くか
• 意味の共通表現「インター・リンガ」の発見
• Attention こそすべて
• 文と文の関係へ
• 「意味の世界」の広がりについて
• 知っているけど、知らないこと
• 本当は、深い問題
• みんな大好き String Diagram
• 意味はエンタングルする
• 探究は続く

意味の分散表現論の系譜 — 大規模言語モデルへ

資料 「意味の分散表現論の系譜 — 大規模言語モデルへ」

「意味の分散表現論の系譜」の概要

( pdf blog:「研究では、問題の立て方が重要であること」)

Bengioの「次元の呪い」からSentence to Sentence まで

( pdf blog:「区切りをどこに置くか」)

Google ニューラル機械翻訳

( pdf blog:「意味の共通表現「インター・リンガ」の発見」)

Transformer

( pdf blog:「Attention こそすべて」)

BERT

( pdf blog:「文と文の関係へ」)

ことばと意味の数学的構造

はじめに

( pdf blog)

Part 1 : 意味の形式的理論– Functorial Semantics

( pdf blog:「「意味の世界」の広がりについて」)

Part 2 : ことばの構成性 – Pregroup Grammar

( pdf blog:「知っているけど、知らないこと」)

Part 3 : カテゴリー論的構成的分散意味論

DisCoCatの登場

( pdf blog:「本当は、深い問題」)

カテゴリー論の応用– Monoidal Category

( pdf blog:「みんな大好き String Diagram 」)

Part 4 : カテゴリー論的構成的分散意味論の展開

CoeckeのQuantum Natural Language Processing

( pdf blog:「意味はエンタングルする 」)

Tai-Danaeのreduced densityとenriched category

( pdf blog:「探究は続く 」)

参考資料

「ChatGPTと大規模言語モデル」関連ページ

「言語理論」関連ページ

The post ことばと意味の数学的構造 first appeared on MaruLabo.

マルレク「密度行列 ρ で理解する確率の世界」への招待

セミナーの申し込みはこちらからお願いします。クリックください。

マルレク「密度行列 ρ で理解する確率の世界 — 意味の分散表現の数理」を開催します。

密度行列については、2021年夏に「密度行列 ρ で理解する量子の世界」というセミナーを開催しました。http://marulabo.conohawing.com/test/docs/rho-talk/ 今回のセミナーは、その続編です。

2021年のセミナーでは、観測演算子の一般化として POVM(Positive Operator Valued Measurement ) という概念を紹介しました。また、密度行列を別のより単純な密度行列に還元する Partial Trace という操作を定義して、それがエンタングルした複雑な系を理解するのに重要だという話をしました。今回のセミナーでは、これらのトピックスをもう少し掘り下げたいと思います。

2021年のセミナーの舞台は量子の世界でしたが、今回のセミナーの舞台は確率の世界です。

古典的な確率の概念は、20世紀の量子論の成立とともに量子論的な確率の概念に変化するのですが、今回のセミナーでは、古典論的な確率分布概念は量子論的な密度行列という概念に変化したという視点で、両者の対応と差異を見ていきたいと考えています。

主要に依拠したのは、DisCoCatのメンバーとして活躍した Tai-Danae Bradleyの2020年の論文 “At the Interface of Algebra and Statistics” 「代数と統計の境界で」です。 https://arxiv.org/abs/2004.05631

この前までChatGPTやAIの話をしていたのに、なぜ、数学の話になるんだと思われた方もいらっしゃるかもしれません。若干、セミナーの背景を補足させてください。

今回のセミナーは、以前の密度行列のセミナーの続編であるだけでなく、セミナーのサブタイトルの「意味の分散表現の数理」が示しているように、つい先日開催したもう一つのセミナー「AIは意味をどのように扱っているのか？ — ChatGPT の不思議」 http://marulabo.conohawing.com/test/docs/meaning/ の続編でもあります。

先日のセミナーでも述べたように、丸山は、大規模言語システムを中心とする現代AIの中核技術は「意味の分散表現」という手法の採用だと考えています。

そこでは、興味深い変化が進行中です。それは、意味の分散表現に多次元のベクトルを利用するという現在の実装に代えて、密度行列を利用しようという動きが生まれていることです。

重要なことは、それは、単なる実装方法の見直しではなく、自然言語の確率論的な意味の理解に、古典論的な確率概念ではなく量子論的な確率概念を適用しようという動きに他ならないということです。

この点では、すでに2010年代に自然言語の意味の解釈に量子論のエンタングルメントとの類似の現象が現れることを見出していたBob CoeckeらのDisCoCat「カテゴリー論的構成的分散意味論 Distributional Compositional Categorical Semantics 」の動きは先駆的なものでした。

DisCoCatについては、昨年末のセミナー「ことばと意味の「構成性」について — カテゴリー論と意味の形式的理論」 http://marulabo.conohawing.com/test/docs/discocat/ で紹介しています。興味がある方は参照ください。

今回は、時間の制約もあるので、密度行列と言語の意味論との関係はあまりふれられないと思います。それらについては、別のセミナーを考えていきたいと思っています。

( slide-pdf blog:「2/25マルレクへの招待」 )

2/25 マルレクへの招待 ver 2

今回のセミナーの趣旨は、密度行列から確率の概念をを考えてみようというものです。

密度行列は、量子論で量子の状態を記述するものです。今回のセミナーでは、少し別の角度から密度行列を見てみようと思います。それは、密度行列は確率概念の一般化であるという見方です。

たしかに、量子の世界では決定論ではなく確率論が基本的な役割を果たすと言われますので、量子の状態を記述する密度行列が、確率の概念と結びつきがあるのは、当然のことかもしれません。

ただ、密度行列は確率概念の一般化であるという主張は、もう少し強い内容を持っています。それは、我々が普段使っている確率の概念とは異なる確率の概念があるということです。

量子論は我々の日常のマクロな世界とはかけ離れたミクロな世界の理論で、そうした世界を理解するためには確率論が必要だという考えは、正しいように思えます。ここでは、マクロな世界とミクロの世界という「二つの世界」を、「一つの確率論」が結びつけています。

もしも、マクロな世界の確率論とミクロな世界の確率論が、二つの異なる確率論であるなら、そうしたイメージは変わります。

でも、それはミクロな量子論の世界に大きな変更を強いるものではありません。問題は、我々の日常のマクロな世界の中でも、古典論的ではない量子論的確率論が、大きな役割を果たしている領域が存在する可能性があるということです。

僕は、ことばの意味を密度行列で表現しようという「意味の分散表現論」の新しい進展が、マクロな世界で量子論的な確率論が機能している舞台だと考えています。

それについては、3月以降のセミナーで展開できればと思います。

( slide-pdf blog:「申し込みページ作りました」 )

基本的な準備

結合確率分布と周辺確率分布

( slide-pdf blog:「単純な例を見つける」 )

古典論から量子論の移行を示す基本的な計算例

( slide-pdf blog:「計算しないとわからないけど」 )

ノテーションの確認

Bra-Ket 記法

( slide-pdf blog:「ベクトルは関数なんです」 )

Tensor Network

Tensor Network の初等的入門

( blog:「誰でも分かるテンソル・ネットワーク入門」)

Tensor Networkの説明、すこし長くなったので別ページにしました。こちらを参照ください。

Tensor Networkの基礎

( slide-pdf blog:「テンソル積の表現 」 )

古典論的確率と量子論的確率

古典的確率分布の一般化 — Density Operator

( slide-pdf blog:「固有値に注目しよう 」 )

古典論的確率と量子論的確率の基本的同一性

( slide-pdf blog:「二つの確率概念は、基本的には一致する」 )

Partial trace

( slide-pdf blog:「Partial Trace は周辺確率を導く」 )

還元された密度行列

( slide-pdf blog:「図形で分かること」 )

The post 密度行列 ρ で理解する確率の世界 first appeared on MaruLabo.