embeddingがグローバルな検索の世界に与える影響

このパートでは、AIの登場がグローバルなインターネット上の検索に与える影響を見ていきたいと思います。

検索の世界は、今、急速な変化の只中にあります。その変化を特徴づけるのは、機械が「ことばの意味を理解し始めた」という変化です。その変化は、「文字から意味への変化」と考えることができます。

「機械と人間が意味を共有するembeddingの世界」の登場が、検索の世界を変えようとしています。

21世紀のIT技術の二度目の大変化

それは、LLMの能力がRAGによって大きく拡大したという、狭いAI技術の変化の話ではないのです。

振り返ってみれば、GAFAM等のBig Techの成立に結果した21世紀初頭のITの世界の大きな変化は、Googleのグローバルな検索技術の登場によって先導されました。

その成功は、PageRank・MapReduceというアルゴリズムの実行を可能とするWebスケールの大規模分散システムと、「広告モデル」という新しいビジネス・モデルによって支えられたものでした。

四半世紀の時を経て、21世紀のIT技術・ITビジネスは二度目の大きな変化を迎えようとしています。

どのような変化を展望するのか

もっとも、予想される変化を現在のIT技術・ITビジネスの延長で考える必要はないと思います。

「機械の言語能力の獲得」は、機械にとっても人間にとっても歴史的な大事件です。より具体的に、「機械と人間が意味を共有するembeddingの世界」の進展は、機械にとっても人間にとっても重要な意味を持ちます。

それは、人類の情報共有と情報蓄積のスタイルが、大きく変わるだろうという展望を我々が持ちうることだと思います。

The post embeddingの共有・蓄積・検索の未来 first appeared on MaruLabo.

“Next token prediction” 描像を超える理論の探究

今回のセミナーの問題意識の一つは、LLMを「次のトークンを確率的に予測する」機械として捉える見方は、LLMの現実の振る舞いの説明としては、十分ではないのではというものです。

“LLM = Next token prediction Machine”という描像は、先のセミナーでも触れたように LLMの成功の技術的バックボーンの役割を果たしました。そのイメージは、一方で、「生成AI = 確率論的オーム」という誤解を生み出し、他方ではAI研究者を含む多くの人に、「LLM = ブラックボックス」であることを印象付けました。ただ、後者の認識は「誤解」ではありません。

LLMのある意味不思議な振る舞い、「LLMは、Next token predictionをするシステムだ」という還元論的特徴づけと、現実のLLMが示す柔軟で高度な意味理解能力の乖離がその典型的な例だと思いますが、そのメカニズムを、embedding論に遡って解明しようとする研究が活発に展開されていることです。

“Next token prediction” 描像を超えるLLM理論の探究は、現在のLLM研究のもっとも興味深い領域だと思います。
基本的には、カテゴリー論を使ってこの問題にアプローチする流儀と、AI研究者の「ブラック・ボックス問題」に切り込もうとする流儀の、二つのアプローチがあります。興味深いのは、両者の研究がクロスする状況が生まれていることです。

AI研究者のアプローチ

SAE Sparse Autoencoders

AnthropicのChristopher Olahらの「スパーズ・オートエンコーダー」 （Sparse Autoencoders） SAE理論が代表的な議論だと思います。

これらの議論は、ブラックボックスとしてのLLMの振る舞いを、説明可能なものとして解明しようとするものです。同時に、こうした研究は、LLMの安全性を人間がキチンとコントロールする可能性を開くものでもあります。

音声概説　SAE

個人的には、こうした研究は、VlassopoulosらのLLMの内部動作の解析と通じ、それをステップに BradleyのLLMのMagnitude論に通ずると考えています。

MI Mechanistic Interpretability

この分野では、Olahらによる議論に触発された「機械論的解釈可能性」(Mechanistic Interpretability) MI理論も 興味深いものです。

音声概説 MI

カテゴリー論的アプローチ

カテゴリー論的アプローチの代表者は、Tai−Danae Bradleyです。
彼女の 「co−presheaf 意味論」は、画期的なものです。

画像クリックで、それぞれのセミナーのまとめページにアクセスできます。

Bradley

彼女の最近の研究は、次の二つの点で大きな前進を遂げています。
・LLMの内部の確率計算の精緻な分析。プロンプトxが与えられた時、LLMが出力yを返す確率π( y | x )の計算式を与えました。
・その上で、「確率」を「距離」に変換し、「意味の幾何学」への道を開きました。

音声概説 Bradley1

音声概説 Bradley2

Vlassopoulos

Vlassopoulosは、基本的にBradley と同じアプローチをとっています。
興味深いのは、彼の議論は、SAE理論の「Superinpose」の議論と親和性が高いと、僕は感じています。

音声概説　Vlassopoulos

The post “Next token prediction” 描像を超えて first appeared on MaruLabo.

Part 1 機械と人間が意味を共有するembeddingの世界

このセミナーは、前回のマルレク「機械の言語能力の獲得を考える」の続編になっています。当初は、「機械と人間が意味を共有するembeddingの世界を考える」というタイトルで予告されたものです。タイトル変更に伴う、今後のセミナー開催の予定については、このページの最後をご覧ください。

前回のセミナー「機械の言語能力の獲得を考える」を振り返る

↑ 見出しクリックで前回セミナーの「まとめページ」へ
前回のセミナーのblog リストは、こちら をクリック。

前回のセミナーは、現代のAI技術の到達点を「機械が言語能力を獲得した」と捉え、その中核を「意味を理解する」能力の獲得と見なして議論を展開していました。

その中心問題は、機械はどのようにして「意味を理解する」ようになったのかという問いであり、これに対して「意味の分散表現論」の発展が一つの答えを与えると述べています。

この四半世紀のAI技術の理論史は、「意味とは何か」を探求する「意味の分散表現論」すなわちembedding論の発展史であると考えることができます。

語の意味の分散表現が文の意味の分散表現へと進み、それをベースとした「翻訳モデル」がAttention メカニズムの導入により発展します。　変化はさらに続きます。Transformerを頂点とした「翻訳モデル」がencoder-only / decoder-only アーキテクチャーに分解・解体する中で、後者のアーキテクチャーの「勝利」として、「大規模言語モデル」が成立します。

「機械の言語能力の獲得」という機械の能力の画期的な拡大を可能としたのは、技術的には、強力な「大規模言語モデル」の成立によるものです。

マルレク「機械の言語能力の獲得を考える」のAIによる要約

意味の分散表現論、翻訳モデルから大規模言語モデルの成立の歴史を振り返ったこのセミナーは、embeddingに注目するこの連続セミナーの基本的な問題意識を示しています。

前回のセミナーのAIによる音声概要

このセミナーのAIによる音声概要は、次からアクセスできます。200ページの長い資料がとてもよくまとまっています。ぜひ、お聞きください。

前回のセミナーのメインのpdf資料のAIによるまとめ

また、このセミナーのメインのpdf資料のAIによるまとめは、次のリンクからアクセスできます。
https://maruyama097.blogspot.com/2026/02/blog-post_22.html

セミナー資料は、次のリンクで公開済みです。「マルレク「機械の言語能力の獲得を考える」の講演ビデオと講演資料公開しました」

機械と人間が意味を共有するembeddingの世界を考える

先のセミナーの振り返りでもみたように、機械が言語能力を獲得できたのは、人間のことばの意味をLLMがembeddingを通じて、理解できるようになったからだと考えています。

ただ、LLMが Next token predictionマシンであるという一般的な認識と、それがコンテキストを含む言葉の意味を理解する能力として現れるという認識には、ギャップがあるように思います。

また、embeddingは、それ自身で既に「世界」についての情報を豊富に含んでいるように思えます。そうした特徴は外付けのRAGとは独立なものです。それは、embedding の生成メカニズムそのものに根ざしているはずです。

ただ、こうした問題の多くに、今回のセミナーでは、答えることができませんでした。予告したコンテンツを一回のセミナーに収めることが難しくなっていて、セミナーを分割することになりました。

embedding プログラミングを学ぶことの意味

今回のセミナーでは、直接embeddingを操作するembeddingプログラミングを紹介します。
AIが、ほとんどどんなプログラムも作ってくれる時代に、プリミティブなembeddingプログラミングを学ぶことの意味を確認しておきましょう。

機械と意味を通じ合うための「共通言語」としての理解

僕は、Embeddingの発見を「この4半世紀のAI研究の白眉」と高く評価し、それを「人間と機械の共通言語」と呼んでいます。また、人間にとってEmbeddingは、音声や文字に次ぐ「ことばの第三の形態」であるとも位置づけています。

単なるプログラミングテクニックとしてだけでなく、「機械がどのように言葉の意味を数値（ベクトル）として捉え、意味の近さを計算しているのか（コサイン類似度など）」を知ることは、機械の言語理解の本質に触れることであり、AIを活用する上での強力な土台となります。

信頼性の高いAIシステムの根幹技術であるため

LLMの弱点であるハルシネーションを抑制し、情報の透明性と正確性を担保する手法として「RAG（検索拡張生成）」が重要視されています。 RAGのパイプラインでは、テキストをEmbeddingに変換してベクトルデータベースに登録し、ユーザーの入力とのコサイン類似度を用いて関連情報を検索（Vector Search）するというプロセスが必須のステップとして組み込まれています。

AIがコード自体を書いてくれるとしても、この「データをどのようにチャンクに分割し、ベクトル化して検索させるか」というシステム全体の設計やチューニングは人間が行う必要があり、その裏側にある技術を理解しているかどうかがシステムの品質を左右します。

より高度なシステムへの進化に対応するため

AI技術は、単純なベクトル検索を行うものから、クエリの書き換えや再順位付けを行う「Advanced RAG」、さらにはAIが自律的に検索対象や再検索を判断する「Agentic RAG」へと急速に進化しています。また、今後は「embeddingの共有・蓄積・検索」が情報の世界に大きなインパクトを与えると予想されています。

AIにプログラミングを任せる時代だからこそ、ブラックボックスになりがちな「ベクトル空間における意味の検索」の仕組みを人間が直接理解しておくことで、AIに対してより高度な指示を出し、生成されたシステムの評価や改善を正確に行うことができるようになると考えられます。

Part 2 embedding プログラミング入門

Language Model と Embedding Model

多くのAI ベンダーは、Language Model (LLM) と並んで Embedding Modelを提供しています。

OpenAIの text-embedding-3-large, Googleのgemini-embedding-001をはじめとして、Cohere, Voyage AI, Mistral AI, Jina AI  等、多くのAIベンダーから多くのembeddingモデルが公開されています。オープンソースのHugging FaceのBGE(Beijing Academy of AI)もよく利用されているようです。

embedding体験入門

↑ 見出しクリックでpdfへ

Amazon レビュー情報からの意味的検索

データを準備する

↑ 見出しクリックでpdfへ

embeddingを利用したテキストの意味的検索

↑ 見出しクリックでpdfへ

Part 3 embeddingと検索技術の新しい展開

文字列検索と画像検索

↑ 見出しクリックでpdfへ

Vector Search の紹介

↑ 見出しクリックでpdfへ

マトリョーシカ −− embedding技術の革新

↑ 見出しクリックでpdfへ

Adaptive Classification

↑ 見出しクリックでpdfへ

Adaptive Retrieval

↑ 見出しクリックでpdfへ

今後のセミナーについて

前回のセミナーと今回のセミナーと合わせて、次のようなセミナーを開催することになります。準備中のセミナーを分割したので、それぞれのまとめページを別個に作成しました。下のセミナー・タイトルのクリックで、それぞれのセミナーのまとめページにジャンプできます。

「embeddingの共有・蓄積・検索の未来」

embedding技術が可能とする情報の共有と情報の蓄積と検索の未来について考えます。

“Next token prediction” 描像を超えて

“Next token prediction”のみかけ上の単純さの背後には、embeddingに表現される複雑な「意味の世界」が隠れています。

下の画像クリックで、それぞれのセミナーのまとめページにジャンプできます。

The post embeddingプログラミングの基礎 first appeared on MaruLabo.

Transformerの登場

• RNNからTransformerへ
  https://drive.google.com/file/d/1U6mDCZDaI1mPF95a3w54jjGHp06y-mIj/view?usp=sharing
  http://marulabo.conohawing.com/test/wp-content/uploads/2026/01/RNNからTransformer.mp3
• Transformerのアーキテクチャー
  https://drive.google.com/file/d/1Ko2XoHHpMIad4diYBZeybK7faCLTft8K/view?usp=sharing
  http://marulabo.conohawing.com/test/wp-content/uploads/2026/01/Transformerのアーキテクチャー.mp3

[ai_playlist id="7352"]

翻訳モデルから大規模言語モデルへ

EncoderとDecoderの分離からDecoder OnlyのLLMへ

• LLMはなぜ翻訳モデルから生まれたのか
  https://drive.google.com/file/d/16LvxRmXHoHjbfXNEPC6WIhX1t0zkqRNi/view?usp=sharing
  http://marulabo.conohawing.com/test/wp-content/uploads/2026/01/LLMはなぜ翻訳モデルから生まれたのか.mp3
• なぜLLMはエンコーダを捨てたのか
  https://drive.google.com/file/d/1teYuSe95NFp5Kq18yMu1JXz40nQmidIA/view?usp=sharing
  http://marulabo.conohawing.com/test/wp-content/uploads/2026/01/なぜLLMはエンコーダを捨てたのか.mp3
• AIはなぜ「理解」より「生成」を選んだか
  https://drive.google.com/file/d/1eVLt4pJ6lSw1r3Ke0WQ3tVPzlt-go2jx/view?usp=sharing
  http://marulabo.conohawing.com/test/wp-content/uploads/2026/01/AIはなぜ「理解」より「生成」を選んだか.mp3
• なぜdecoder−onlyがAIの覇権を握ったのか
  https://drive.google.com/file/d/1MfbGcIgRNR4rGZFgLYxYggzJbZxF9VHI/view?usp=sharing
  http://marulabo.conohawing.com/test/wp-content/uploads/2026/01/なぜdecoder−onlyがAIの覇権を握ったのか.mp3

[ai_playlist id="7358"]

The post Deep Dive Audio 20260131 first appeared on MaruLabo.

当初、「機械の言語能力の獲得から考える embeddingの共有・蓄積・検索の未来」というテーマでセミナーを開催することを考えていたのですが、長くなりそうなので、セミナーを次の二つに分けることにしました。

• 「機械の言語能力の獲得を考える」
• 「機械と人間が意味を共有する embeddingの世界を考える」

このWebページやYouTubeと並行して、次のblogリストからも関連コンテンツにアクセスできます。https://maruyama097.blogspot.com/2025/12/embedding-blog.html

セミナー概要

今回のセミナーのアプローチ

↑ 見出しクリックでpdfへ

今回のセミナー「機械の言語能力の獲得を考える」は、現代のAI技術の到達点を「機械が言語能力を獲得した」と捉える議論を展開したものです。

機械が新しく獲得した言語能力の中核は、「意味を理解する」能力だと僕は考えています。
今回のセミナーでは、機械の言語能力の獲得の中核を、機械の意味を理解する能力の獲得とする議論を行います。

中心問題は、機械は、どのようにして「意味を理解する」ようになったのか？ という問題です。
この問題については、21世紀初めからの「意味の分散表現論」の発展が一つの答えを与えてくれると思っています。

セミナーでは、意味のベクトル表現の発見に始まり、翻訳モデルから大規模言語モデルへの発展へと結実する理論の歴史を振り返ろうと思います。

こうしたアプローチの意味と課題

「言語能力の獲得」→「意味の理解能力の獲得」→「意味の分散表現論の発展」というスキームや、AI技術の発展を分散表現論の歴史で説明するアプローチには、多くのものを捨象しているという問題もあります。

AGI論の功罪

アルトマンは、2035年までに、あらゆる個人が「2025年時点の全人類に匹敵する知的能力」を手に入れることができると予測しています。
https://www.marketingaiinstitute.com/blog/the-ai-show-episode-135

一方、イリヤ・サツケヴァーは、アルトマンとは対照的に、AIがもたらす「実在的なリスク(Existential Risk)」に対して恐怖の念を抱いています。彼は、AIが単なるプログラムではなく、いつか人間を凌駕し、制御不能になる可能性を技術的必然として捉えています。
https://www.ibm.com/think/topics/superalignment

昔、ある人がAIに次のような皮肉な定義を与えたことがあります。「AIとは、まだできていないこと全てである」”Al is whatever hasn’t been done vet.”　( “Gödel, Escher, Bach” D. R. Hofstadter ) AGI (artificial general intelligence)の議論は、それに似ています。

楽観的なAGI論も悲観的なAGI論もあるのですが、AGI論は、AI技術の到達点の評価ではなくまだできていないこと、まだ起きていないことを含んだ未来の予想です。その予想には、傾聴すべき議論も含まれていることもあるのですが、ある場合には、AIにさらなる投資を呼び込むための誇大宣伝に使われています。

言語能力と「知性」

僕は、人間の知性（あるいは、知能）と人間の言語能力を区別しています。人間の知能は複雑な構造を持ち、その最も基本的な構成要素、最も重要な基礎が言語能力なのだと。

親と子も恋人同士の二人も老人ホームの老人もことばを使います。SNSで罵倒し合うのにも、戦争を呼びかけるのにも戦争に反対するのにもことばが必要です。捏造された論文もノーベル賞の対象となる論文も、ことばで書かれています。これらすべては、人間がひとしく言語能力を持ってコミュニケーションできるから可能になっていることです。

言語能力をもつ人間がそうであるように、機械が人間並の言語能力を獲得したとしても、それだけで優れた「知性」を発揮するかはわかりません。機械の言語能力の獲得は、機械が正しいことを言うことを意味するものではありません。ただ、言語能力なしには、優れた知性に成長することはできないと考えています。

その意味では、機械の言語能力の獲得をAI技術の重要な到達点と考えることは、大きな意味を持っていると考えています。

理論の歴史が示すもの −− embedding概念の発見とその意味

人工知能の技術にも、短いながら歴史があります。その技術の歴史を貫いて、理論の歴史があります。今回のセミナーでは、AI技術の理論の歴史を振り返ってみたいと思います。

重要なことは、この4半世紀のAI技術の理論史は、「意味とは何か」を中心的なテーマとして、それを探究する理論の旅に他ならなかったということです。それが、今回のセミナーで展開する「意味の分散表現論」の発展史です。　

機械が意味を理解させるためには、人間が意味とは何かを知らなくてはなりません。また、それを実装として機械に伝えなくてはなりません。いろんな試行錯誤があったのですが、意味を多次元のベクトル、embedding として表現するという方法に辿り着き、その応用に磨きをかけていきますます。

意味を表現するembeddingという概念の発見は、この4半世紀のAI研究の白眉だと思います。我々は、embedding という人間と機械の共通言語を獲得し、それを通じて機械と意味を通じ合うことができるようになったのです。

人間にとって、embedding は、話す聞くことばとしての音声と、書く読むことばとしての文字に次ぐ、ことばの第三の形態だと僕は考えています。

次回のセミナーで扱うこと

残念ながら、今回のセミナーでは、このembeddingの獲得が、情報の世界でどのようなインパクトを持つかは十分に語ることができません。

それについては、冒頭に述べたように、次回のセミナーは「embeddingの共有・蓄積・検索の未来」として展開したいと思っています。

関連コンテンツへのアクセス

• 「機械の言語能力の獲得を考える」セミナーの申し込みページ
• 「機械の言語能力の獲得を考える」セミナーのまとめページ
• 「機械の言語能力の獲得を考える」ショートムービー再生リスト
• 「機械の言語能力の獲得を考える」 blogリスト

Part 1 意味の分散表現の系譜

Bengio 「次元の呪い」

Hinton Autoencoder / 意味的ハッシング

意味の分散表現論の登場

↑↓ 見出し/画像クリックでblogへ

文の意味のベクトル表現の発見

↑↓ 見出し/画像クリックでblogへ

Transformerの登場

↑↓ 見出し/画像クリックでblogへ

Part 2 翻訳モデルから大規模言語モデル LLM への進化

Transformerの登場と成功は、AI技術と意味の分散表現論の大きな飛躍でした。このPart 2では、AI技術と意味の分散表現論のさらに大きな飛躍、翻訳モデルから大規模言語モデルへの移行という現代のAI技術に直接つながる重要な進化を取り上げます。

翻訳モデルから大規模言語モデルへの進化 LLM 概要　（音声概要）

↑ 見出しクリックでpdfへ

TransformerからBERTとGPTへ

翻訳モデルから大規模言語モデルへの進化の過程において、Transformerの影響は決定的なものでした。大規模言語モデルへの進化において大きな役割を果たした、Post Transformer の代表的な二つのアーキテクチャー BERTとGPTの末尾の ‘T’ がTransfomerの ‘T’ であることは、その影響の大きさを表しています。

　　BERT : Bidirectional Encoder Representations from Transformers
　　GPT : Generative pre-trained transformer

TransfomerのEncoderとDecoderの分離とその継承

ただ、Transformerの達成した成果をどのように継承するのかという点で、BERTとGPTのとったアプローチは真逆と言っていい対照的なものでした。両者は、Transformerの二つの基本的な構成要素 EncoderとDecoderを分離し、その一方だけを継承したのです。

　　BERT : TransformerからEncoderのみを継承。Encoder−only アーキテクチャー
　　GPT : TransformerからDecoderのみを継承。Decoder−only アーキテクチャー

Encoder−only, Decoder−onlyのアーキテクチャーの特徴

Transformerは、翻訳システムとして実装されていたのですが、BERTもGPTも、もはやかつてのようなSequence to Sequenceの翻訳システムではありませんでした。AIから見れば「翻訳」というのは、AIが自然言語に対して行いうる可能な仕事の一つに過ぎません。翻訳モデルの解体とより一般的なAIのモデルの模索がはじまったのです。

それでは、Encoder−only, Decoder−onlyのアーキテクチャーは、どのような特徴を持っていたのでしょう？

　　BERT : Encoder−only アーキテクチャー : 言語の意味の深い理解能力
　　GPT : Decoder−only アーキテクチャー : 言語の自由な生成能力

Decoder−onlyアーキテクチャーの勝利としての大規模言語モデル LLM の成立

重要なことは、Transformerから分岐した二つのAIアーキテクチャーのうち、Decoder−onlyアーキテクチャーの勝利として、大規模言語モデルが成立したということです。

なぜ、Decoder−onlyアーキテクチャーが勝利したかについては、この概要ではなく、別のセッションで解説したいと思います。そこでの議論は、現在の大規模言語モデルの特徴をよりよく理解するために重要な情報が含まれています。

補足情報 (音声概要)

概要とはいえ、少し情報が少ないので、次の二つの音声概要にアクセスしていただけますか？

• 「Transformerのアーキテクチャー」

• 「LLMはなぜ翻訳モデルから生まれたの」

このほかに、まだ、整理されていないのですが（ごめんなさい）、いろんな切り口で音声概要を作ってみました。、興味がありましたら、こちらもご利用ください。

• 「EncoderとDecoderの分離からDecoder OnlyのLLMへ」

[ai_playlist id="7358"]

Part 3 LLM アーキテクチャーの成功を支えたもの

Next token Prediction

↑ 見出しクリックでpdfへ

Self-Supervised Learning

↑ 見出しクリックでpdfへ

In-Context learningとRetrieval-Augmented Generation

↑ 見出しクリックでpdfへ

The post 機械の言語能力の獲得を考える first appeared on MaruLabo.

The post Deep Dive Audio 20260106 first appeared on MaruLabo.

9/28 マルレク「計算複雑性理論入門」　コンテンツ公開の詳細

このセミナーのコンテンツの詳細については、↑のリンクをクリックください。
ビデオ、講演資料を一つにまとめたものだけでなく、各パートごとに分割したものにもアクセスできます。

はじめに

セミナータイトルを、「コンピュータと数学 2」から「計算複雑性理論入門」に変更しました。

今回のセミナーは、前回のセミナーと基本的な議論は連続しています。

それは、コンピュータとAI技術の次の未来を展望するうえで、人間の二つの基本的能力である「言語能力」と「数学的能力」の「統合」の課題が重要だという議論です。

そうした立場から、前回のセミナー「コンピュータと数学 — TuringからVoevodskyまで」では、コンピュータにはそもそも「数学的能力」が備わっているのではという問題意識を述べてきました。

そこでは、コンピュータの持つ数学的能力の(再)発見の突破口となった「計算 ＝ 証明 = プログラミング」という認識の成立の場所である「型の理論」を取り上げ、実際にコンピュータによる証明の例を紹介しててきました。

今回のセミナー「計算複雑性理論入門 — Turingマシンから量子コンピュータまで」では、こうした論点をさらに深める上で、計算科学の代表的な数学理論である「計算複雑性理論」に注目しようと思います。

Gödelの「不完全性定理」と「計算可能性理論」

少し歴史を遡ってみましょう。

現実にコンピュータが登場するはるか以前の1930年代に、Gödelの「不完全性定理」の強い衝撃の中で、「数学的に計算できるものとは何か？」という問いの中から、Gödel – Church – Turing らによって、「計算可能性理論」が生まれました。

「計算可能性理論」は、計算可能なものと計算不可能なものとを区別する基準を数学的に定義することに成功します。それは、ゲーデルの「不完全性定理」の背後にある構造の理解を可能とする「計算不可能性理論」と言ってもいいものです。

そのエッセンスは、「計算可能な計算はすべて、ある帰納的チューリングマシンによって実行される」という「チャーチ=チューリングのテーゼ」です。

彼らが切り開いたのは、数学的能力をはじめとして人間の知性と認識能力自身の限界を数学的分析の対象とするという、これまでの数学にはなかった新しい探究の道でした。彼らが始めた「計算可能性理論」が「計算複雑性理論」の第一世代だと考えていいと思います。

計算複雑性理論の登場

ただ、それで計算可能なものの境界が明確になったかというと、必ずしもそうではありませんでした。「計算可能性理論」では理論的には「計算可能」とされる計算でも、実際には計算できそうもないものがあることは、数学的には知られていました。

1950年代にはコンピュータが登場します。1960年代に入ってその利用は飛躍的に拡大を始めます。そうした背景の中で、1970年代になって、「計算複雑性理論」が登場します。

それは、先に述べた「理論的には計算可能だが、現実には手に負えない」領域も視野に入れて、計算可能なものの世界の内部により実際的でより現実的な分類、簡単に計算可能な問題から計算が難しい問題の階層を新たに導入しようという理論です。こうして導入された分類を、「計算複雑性」といいます。

「計算複雑性理論」の実際の成立の過程は先行した「計算可能性理論」の影響を受けもう少し複雑なのですが、それは、客観的には、「コンピュータで実際に計算可能なものとはどういうものなのか？」を考える理論だと考えていいと思います。

よく混同されるのですが、それはフラクタルやカオス等を対象とした、いわゆる「複雑系の理論」とは異なるものです。

今、考えるべきこと

では、なぜ 「生成AI」が大ブレイクしている今、1930年代や1970年代に起源を持つ「計算可能性理論」や「計算複雑性理論」また、1980年代に起源を持つ「型の理論」といった「古い理論」に注目するのでしょう？

それは、冒頭に述べた「コンピュータとAI技術の次の未来を展望する」という問題意識から発するものです。

私たちは、「機械の知能は、どこまで発展しうるのか？」という問題を考える必要があります。重要なことは、その問題は、「我々人間の認識は、どこまで発展しうるのか？」という問題と同時に提起されているということです。

楽観論者も悲観論者も入り混じっているのですが、我々がそうした問題の前に立たされていることは、多くの人が、感じていることだと思います。

なぜ「計算複雑性理論」なのか？

「計算複雑性理論」は、人間の数学的な認識能力の拡大とその限界を「現実的」に境界付けようという理論なのですが、その理論は、基本的に、「チャーチ＝チューリング・テーゼ」に基づいて計算という人間の数学的能力に「チューリング・マシン」という機械的なモデルを与えることで展開します。

それは、人間が可能な計算の現実的な限界の理論であると同時に、そのモデルである機械が可能な計算の限界の理論でもあるのです。

それは、人間の認識の限界の理論であると同時に、機械の認識の限界の理論でもあるのです。

「計算複雑性理論」が示すそうした視点は、我々が今考えるべき、機械と人間の認識能力の発展の可能性について、また、機械と人間の未来での関係について、多くの示唆を与えると僕は考えています。

「計算複雑性理論」を学ぼう

「計算複雑性理論」は、けっして古い理論ではありません。それは、「人工知能論」の基本的な数学理論として、十分に有効だと思います。

この間の経験に照らせば、先行した数学的理論が、コンピュータの世界で技術的な応用を獲得するまで、数十年の時間を要することは、珍しいことではありません。

今回のセミナーでは、前半で「多項式時間と指数関数的時間」「P問題ととNP問題」「NP完全問題」といった「計算複雑性理論」の基本的な概念を紹介しようと思います。

セミナーの後半では、チューリング・マシンの拡大に伴って、対応する複雑性のクラスが拡大し、「拡大されたチャーチ＝チューリング・テーゼ」のもとで、そうした複雑性クラスの拡大が、人間＝機械の能力の拡大として解釈されうることを見ていきたいと思います。

こうしてコンテキストのもとで、「量子コンピュータ」の位置付けを明確にすることができると思います。

計算可能性理論と計算複雑性理論

計算可能性理論とChurch-Turing Thesis

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

計算複雑性理論とは何か

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

計算複雑性の基本的階層

「時間計算量」と「空間計算量」

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

NP 問題

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

NP-完全問題

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Interlude

Tao、証明支援システムを語る

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

チューリングマシンの拡大と計算複雑性

非決定性チューリングマシンとNPクラス

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

確率的チューリングマシンとBPPクラス

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

量子チューリングマシンとBQPクラス

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

主要な計算複雑性クラスと対応するチューリングマシン

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Church-Turing Thesisの変化と量子情報理論

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

すべてのショートムービーを見る

The post 計算複雑性理論入門 first appeared on MaruLabo.

8/31 マルレク「コンピュータと数学」コンテンツ公開の詳細

このセミナーのコンテンツの詳細については、↑のリンクをクリックください。
ビデオ、講演資料を一つにまとめたものだけでなく、各パートごとに分割したものにもアクセスできます。

8月マルレク「コンピュータと数学 1 — TuringからVeovodskyまで」へのお誘い

AI技術の次の未来を展望する

「大規模言語モデル」ベースの現代の生成AI技術は、ネット上の膨大なテキストの集積を学習して、そこから、人間の「言語能力」と呼ばれているものの基本的部分 –「意味の理解」「新しい文の生成」「対話形のコミュニケーション」、「文字として蓄積された情報の活用」等 — をコンピュータ上で実現することに成功しました。

それは画期的なものです。この連続セミナーは、歴史的な成功をおさめたAI技術の次の未来を展望することを目的としています。

それなら、「AIの未来」のようなタイトルの方が良かったと思われるかもしれません。

ただ、一見するとAIとの関係がはっきりしない、一般的な「コンピュータと数学」というタイトルを選んだのには理由があります。それは、AIの未来についてのつぎのような僕のビジョンに関係しています。

AIの未来についての三つのビジョン

第一。僕は、未来の（あるいは、近未来なのかも）AIの発展の課題の焦点の一つは、人間の二つの基本的能力である「言語能力」と「数学的＝論理的能力」の「統合」の課題だと考えています。

第二。ただ、「大規模言語モデル」は人間の「言語能力」の理解に画期をもたらしたのですが、ただ、その方法の素朴な延長では、AIの数学＝論理的能力の飛躍は望めないだろうと考えています。

それなら、「AIと数学」というタイトルがいいのではという考えもあると思います。でも、そうしたタイトルを選びませんでした。

一つには、大規模言語モデルベースの生成AI技術の華々しい成功の中で、ほとんどの人が「AI ＝ 生成AI」と思っている現状では、先の「第二」の論点は、なかなか伝えるのが難しいと感じたからです。

コンピュータは、それ自身で「数学的＝論理的能力」を持っている

もう一つには、僕がこのセミナーで伝えたいAIの未来について、もう一つのメッセージがあるからです。

第三。そもそも、コンピュータは、それ自身で「数学的＝論理的能力」を持っているという考えかたがあるということです。

こうした考えを進めれば、わざわざ、「大規模言語モデル」の上に数学的＝論理的能力を構築しようとするのは、コンピュータが本来持つ力を過少に評価しているのであって、それは余計な回り道だということになります。

僕は、こうした考えに魅力を感じています。こうした考えは、新しいものではありません。それは、コンピュータの歴史と同じくらい古いものです。ですが、生成AIの登場によってその考えが古びるものではないと僕は考えています。

「AI」という言葉は、少し窮屈

今回のセミナーでは、「AI」と言うことばをタイトルから外して、「コンピュータ」ということばに置き換えてみました。それで、すこしは自由にAIの未来を考えることができると感じています。

要するに、「AIの未来」を、「AI」を主語とするのではなく、「コンピュータ」を主語として、「コンピュータの未来」というパースペクティブで考えてみようというのが、今回のセミナーの趣旨です。僕の問題意識からすると、その焦点は、コンピュータの数学的能力だということになります。

もっとも、今回のセミナーが、「数学の歴史の話」でも「生成AI批判」でもなく、歴史的な成功をおさめたAI技術の次の未来を展望することを目的としていることを説明するのに、これだけグダグダ語らねばならないというのは、どこかでボタンを掛け違えたのかもしれませんね。ただ、このシリーズ少し続けてみようと思います。

今回のセミナーの構成

今回のセミナー「コンピュータと数学 1 — TuringからVeovdskyまで」は、次のような構成をしています。

　Part 1 機械は考えることができるか？
　　・Turingが考えたこと
　　・Veovodskyが考えたこと

　Part 2 「計算 = 証明 = プログラム」という認識の発展
　　・Curry-Howard 対応
　　・Martin-LofのDependent Type Theory
　　・VeovodskyのHomotopy Type Theory I — Dependent Type
　　・VeovodskyのHomotopy Type Theory 2 — Univalent foundations

　Part 3 コンピュータによる数学的証明
　　・連続体仮説の独立性証明
　　・Feit–Thompson定理の形式的証明
　　・ケプラー予想の証明

Turingは、「機械は考えることができるか？」という問題を、初めて提起しました。
Veovodskyは、「すべての数学的証明はコンピュータ・プログラムの形をとるべきだ。」と主張し、それを実行しようとしました。

二人のコンピュータ観には、大きな飛躍があります。

今回のセミナー「コンピュータと数学 1 — TuringからVeovdskyまで」は、こうした飛躍をもたらしたものが、「計算 = 証明 = コンピュータ・プログラム」という認識が、「型の理論」の中で成立したからだと考え、「型の理論」の発展の歴史を紹介しています。

最後のパートは、コンピュータ・プログラムによる数学的証明の実例を紹介しています。

連続セミナー「コンピュータと数学」の展開について

連続セミナー「コンピュータと数学」は、今後、次のような展開を予定しています。 ご期待ください。

当初、今回のセミナーで取り上げると予告していたGATlabについては、「AIの未来」を「コンピュータと数学」という切り口から考えようとするアプローチの背景を、もう少し丁寧に紹介してから話してみたいと思っています。急なコンテンツの変更、お詫びします。

　「コンピュータと数学 1 — TuringからVeovdskyまで」
　「コンピュータと数学 2 — Turingマシンから量子コンピュータまで」
　「コンピュータと数学 3 — GATlab」
　「コンピュータと数学 4 — Agent Based Modelの数学」

Part 1 機械は考えることができるか？

Turingが考えたこと

AIの時代を切り拓いたのは、今から1950年のTuringの論文だと思います。その画期的な論文 “Computing Machinery and Intelligence” の冒頭で、彼はこう語ります。

「機械は考える事が出来るか? (Can machines think? )」という問題を考察することを提案する。

今なら、誰かが「AIは考えることができるか？」といっても、誰も驚かないし、そうした問題提起が大きな関心を集めることもないように思います。

もちろん、「生成AIで数学の問題が解ける」と主張しても、「生成AIで数学の問題は解けない」と主張しても、それが異端視されることはありません（多分）。

ただ、この論文が出された1950年ではそうではありませんでした。彼は、「機械は考えることができる」という主張が、「異端」とみなされるだろうことをはっきりと自覚していました。

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Veovodskyが考えたこと

Voevodskyは、Milner予想、Bloch-Kato予想を解くなど、代数幾何でグロタンディックが進もうとした道で、大きな業績を残した数学者です。

2002年、26歳の時、彼はこうした業績でフィールズ賞を受賞します。

2017年、彼は動脈瘤で突然亡くなります。51歳でした。

多くの数学者が、早すぎる彼の死を悼みました。
数理物理学者のJohn Baezは、こう語りました。
「彼は、カントールやグロタンディックのような天才でした。」

重要なことは、彼の仕事は、数学の基礎とコンピュータという二つの世界に関係していました。

今回のセミナーのように、「コンピュータと数学」という問題を取り上げるのなら、Veovodskyは 21世紀の最も重要な人物の一人だと僕は考えています。

彼は、数学をその基礎から改めて考えなおしたのです。そして、集合論に変わる新しい数学の基礎づけ Univalent Foundationを構築します。

さらに、彼は、数学の証明に、コンピュータを使うべきだと主張した最初の数学者となりました。それは革命的な主張です。

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 2 「計算 = 証明 = プログラム」という認識の発展

Curry-Howard対応 –「計算 ＝ 証明 ＝ プログラム」という認識の成立

重要なことは、「Curry-Howard対応」は、型付きラムダ計算をプログラムと見なせば、”Proof as Program”としても解釈出来るということです。

「計算 ＝ 証明」であることは、すでにGoedel, Church, Turingたちがコンピュータなどない1930年代に気付き、1950年代には “Church Turing Thesis” として広く知られるようになっていました。この時期は、ちょうどコンピュータが産声をあげた時期です。

コンピュータの利用が拡大する中、1980年代に確立した「Curry-Howard対応」の、“Propositions as Types”“Proofs as Terms” ”Proof as Program”という認識は、「計算 ＝ 証明 」に加えて「計算 ＝ 証明 ＝ プログラム」という認識が成立したことを意味します。

それは、Veovodskyの「すべての数学的証明をコンピュータ・プログラムの形で記述しよう」というUniMathのビジョンに受け継がれていきます。

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Dependent Type Theory — Martin-Löf

現在の「型の理論」の基本が出来上がるのは、1980年代になってからです。その中心人物は、Martin-Löfです。

現在のCoq, Agda, leanという証明支援システムは、彼のDependent Typeの理論に基礎付けられています。

Churchの単純な型を持つラムダ計算の体系は、基本的には、型A, 型Bに対して、型 A → Bで表現される関数型の型しか持ちませんでした。

それに対して、Martin-Löfは、論理的な命題にも、自然なスタイルで型を定義しました。
例えば、Aが型であり、Bが型であれば、A∧BもA→BもA∨Bも型であるというように。もちろん、それぞれは異なる型です。

Martin-Löf は、式 a = b にも型を与えます。

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Homotopy Type Theory I– Dependent Type

Homotopy Type Theory (HoTT)は、数学の一分野である「ホモトピー論」と、論理学・計算機科学の一分野である「型の理論」とのあいだに、深い結びつきがあるという発見に端を発しています。

ここでいう「型の理論」は、前回のセッションで紹介したMartin-LöfのDependent Type Theory （従属型理論）です。

Martin-LöfのDependent Type Theory では、a:A に、「Aは型であり、aはその項である」という解釈を与えます。ここで型Aは、基本的には論理式に対応し、項a はその論理式の証明に対応します。（Curry-Howard対応）

VeovodskyのHomotopy Type Theory では、a:Aは、それとは全く違った解釈が与えられます。そこでは、「Aは「空間」であり、aはその空間上の「点」である」という解釈が与えられます。

Homotopy Type Theory では、Dependent Typeの項は、どのように表現されるのでしょう。
Grothendieck constructionを利用します。Dependent TypeΠ(𝑥:𝐵).𝐸(𝑥) の項s(x)  : Π(𝑥:𝐵).𝐸(𝑥)は、fiber上の「点」section として表現されます。

このセッションでは、Grothendieck constructionの丸山のたとえ話での説明がなされています。

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Homotopy Type Theory II– Univalent foundations

Homotopy Type Theoryでは、空間Aの中で、点aと点bをつなぐ「道」がある時、aとbは、同じものと見なします。ただ、点aと点bをつなぐ「道」自体は、連続的に変化しうるものです。連続的に変化する「道」の「同一性」をあたえるものが、homotopyなのです。

homotopy同値による「空間」A内の「点」 a, b の「同一性」の定義は、型の理論で言えば、同じ型Aに属する項a, b の「同一性」の定義でした。ただ、従属型理論には、そもそも型𝛼と型𝛽は等しいことを主張する「同一性」の定義があります。この第二のタイプの同一性をどのように定式化すればいいのでしょう？

第一のタイプの同一性の定式化で有効だった、ある空間での点の同一性をhomotopy同値とfibrationで追求するというアプローチは、この問題ではあまり有効には見えません。なぜなら、ここでの問題の焦点は、点ではなく空間そのものの同一性にあるからです。

無限の階層を持ち、複雑に分岐した構造を持つ位相空間そのものを対象にし、それを構成する任意の空間に自明でない「同一性」あるいは「非同一性」を導入することは、不可能に思えます。

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Part 3 コンピュータによる証明

このセクションでは、21世紀に入って急拡大したコンピュータによる数学の証明の代表的な事例を取り上げています。

「生成AI」の「華々しい成功」の影に隠れて、多くの人は気づいていないように見えるのですが、コンピュータによる知性の実現のSingularityは、この分野ですでに起きていると、僕は感じています。

連続体仮説の独立性証明

ヒルベルトは、1900年に、20世紀の数学が解くべき23の問題のリストを発表した。その問題提起は、20世紀の数学に少なくない影響を与えた。カントールの「連続体仮説」は、この23の問題の第一番目の問題に取り上げられている。

「世紀の難問」と呼ばれた連続体仮説の問題で、大きな前進があったのは、1940年のことだ。クルト・ゲーデルが、連続体仮説と選択公理の二つを満たす集合論のモデルを実際に構成して見せたのだ。この集合論のモデルの中では、連続体仮説は「真」である。

この結果は、連続体仮説を直接に証明したものではないことに注意しよう。それは、集合論と連続体仮説には矛盾がないこと、すなわち、集合論の中では連続体仮説の否定は証明できないことを意味している。

連続体仮説を最終的に解決したのは、J.P.コーエンだった。彼は、「強制法(Forcing Method)」というモデル構成法を創出し、連続体仮説の否定が成り立つモデルを構成した。

先のゲーデルの結果と合わせると、連続体仮説は、集合論の公理群からは独立であることが証明されたことになる。連続体仮説は、集合論の公理群からは証明できないのだ。

結果から見ると、カントールが、全力で連続体仮説を証明しようとして、成功しなかったのには理由があったのである。

コーエンの結果は、始祖のカントールが構想した、いわばカントール的集合論とは異なる、非カントール的集合論が存在することを明らかにした衝撃的なものだった。

ユークリッド幾何学の「第五公準」が、他のユークリッド幾何学の公理群からは独立で、それらから証明できないことの認識の成立が、非ユークリッド幾何学を成立させたのと同じことが、「数学の基礎」である集合論で起きたのである。

コーエンの結果とその方法は、1960年代の中頃には、集合論の構造についての認識を飛躍的に発展させた。

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

Feit–Thompson定理の形式的証明

2012年、Georges Gonthierは、Coqを用いて、群論のFeit–Thompson 定理の形式的証明に成功する。この定理は、1962-1963年にWalter Feit と John Griggs Thompson によって証明された、群論の基本的な定理の一つである。

「有限単純群の分類問題」は、Daniel Gorensteinをリーダーとする数学者の集団によって解決され、20世紀の数学の大きな成果の一つと呼ばれている。

ただ、その「証明」は、100人以上の数学者が、50年のあいだに数百の論文誌に発表した、膨大な量の「証明」の総和である。そのページ数は一万ページを超えると言われている。

Gonthierの ”Feit–Thompson theorem” の型式的証明も、膨大なものである。それは、15,000の定義、4,300の定理、17万行のソースからなる。この証明を、彼はチーム作業で、6年かけて完成させた。

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

ケプラー予想の証明

「ケプラー予想」は、入れ物の箱に同じ大きさのボールを、どのくらいたくさん詰め込むことができるかという問題に関する予想です。

何も考えずに、箱の上からボールを流し込むと、充填率（詰め込んだボール全体の体積を、容器の箱の体積で割ったもの）は、平均すると 65%程度になるといいます。箱の35%は、すきまになるということです。

もっと、びっしりと、ボールを詰め込みことはできないか？ケプラーは、もっとボールを詰め込むことができる二つの方法を考えました。

1611年、ケプラーは、どんなボールの詰め方をしても、この数字を超えるほど密にボールを詰め込むことはできないだろうと予想しました。これを「ケプラー予想」といiます。ケプラー自身は、この問題に証明を与えることはできませんでした。

1900年のヒルベルトの20世紀の数学が解くべき23の問題の 18番目にこの問題は、取り上げられています。

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

The post コンピュータと数学 first appeared on MaruLabo.

7/31 マルレク「コンピュータ上のグラフ理論の進化」コンテンツ公開の詳細

このセミナーのコンテンツの詳細については、↑のリンクをクリックください。
ビデオ、講演資料を一つにまとめたものだけでなく、各パートごとに分割したものにもアクセスできます。

構成の変更とコンテンツの補足について

7月のマルレクですが、次のAgendaのように構成を変更しました。

　　　　Agenda「コンピュータ上のグラフ理論の進化」

　　Part 1 はじめに – 「AIとグラフ」連続セミナーの流れ
　　Part 2　グラフとAIのSynchronicity
　　Part 3 グラフのカテゴリー論的特徴づけ　C-set
　　Part 4 物理シミレーションとグラフ

主要に、先月からの「AIとグラフ」というテーマとの関連を明確にするために、「はじめに – 「AIとグラフ」連続セミナーの流れ」を冒頭に置きました。

また、以前はInterludeとして紹介していた「物理シミレーションとグラフ」を最後に持ってきました。それに伴い、Decapodesプロジェクト紹介の補足として、今回新しいコンテンツ「単純な調和振動子をグラフで表現する」を追加しました。

AIの能力の次の飛躍の可能性

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

現在のLLMベースのAIに数学的能力を統合したいというのが僕の大きな問題意識なのですが、まだまだ考えなければいけないことがたくさんあります。二つの能力の統合には、一定の時間が必要だと思います。

ただ、言語のモデルと数学のモデルとが統合されうるのであれば、両者はある共通の特徴を持っているはずです。そうした特徴は、カテゴリー論によって与えられると考えています。

当面、グラフとAgent モデルの二つを糸口にして、そうした共通の特徴を考えることから始めていきたいと思います。

グラフとAIのSynchronicity

グラフ・ライブラリーの変化

このセクションは、現在のコンピュータのソフトウェアがグラフをどのように扱ってきたかを振り返ったものです。次の三つのセッションからなります。

　1. PyplotとNetworkX
　2. DOT言語とGraphviz
　3. AlgebraicJuliaとCatlib

重要なことは、こうした変化は、技術的な洗練にとどまらず、「グラフとは何か？」という基本的認識の理論的深化として捉えることができるということです。特に、最後に取り上げるAlgebraicJuliaのCatlibの技術的・理論的到達点は注目すべきものです。

非常に遠回りなアプローチですが、コンピュータ・サイエンスのある分野・グラフ描画の世界で起きている変化が、AI技術の未来の変化とシンクロしているのかもしれないと考えるのは、楽しいことです。

PyplotとNetworkX

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

DOT言語とGraphviz

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

AlgebraicJuliaとCatlab

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

グラフの数学的特徴づけ

Catlaboとは何か — 応用カテゴリー論のツール

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

C-Setとはなにか？

グラフをFunctorで捉える

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

CatlabでのC-setプログラミング

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

無向グラフと反射的グラフのスキーマ

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

グラフの準同型とグラフの積

物理シミレーションとグラフ

単純な調和振動子の式をグラフで表す

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

7/31 マルレク「コンピュータ上のグラフ理論の進化 」へのお誘い

↑ 見出しクリックでYouTubeへ； ↓ pdfはスクロールで全文読めます

The post コンピュータ上のグラフ理論の進化 — AIとグラフ2 first appeared on MaruLabo.

6/29 マルレク「AIとグラフ」コンテンツ公開の詳細

このセミナーのコンテンツの詳細については、↑のリンクをクリックください。
ビデオ、講演資料を一つにまとめたものだけでなく、各パートごとに分割したものにもアクセスできます。

セミナー概要

6月のマルレクのお知らせです。

一部の方には、6月のマルレクは、量子コンピュータでの最近のブレークスルーを取り上げると予告していたのですが、予定を変更しています。すみません。

今回のセミナーは、次のような構成を考えています。

⚫️ Part 1 「画像とグラフの違いを考える」
⚫️ Part 2 「グラフの認識の難しさ」
⚫️ Part 3 「AIのAgent Model のグラフ表現

Part 1 「画像とグラフの違いを考える」

今回のセミナーでは、まず最初に、現在のマルチ・モーダルを指向するAI技術には、得意とする領域と不得意とする領域があることを、グラフの問題を通じて考えます。

セミナーの Part 1 「画像とグラフの違いを考える」 は、こうした実験と考察をまとめたものになります。繰り返しになりますが、このお誘いでも、その概要を紹介したいと思います。

こうした問題は、たまたま見つかった不具合ではなく、基本的には、現在の大規模言語モデルをベースとする生成AI技術が、人間のもつ数学的認識能力をうまく取り込めていないことの表れだと僕は考えています。

　【 画像の生成 】
GPT4oのDall.E を用いたテキストからの画像生成能力は、素晴らしいものです。

　【 グラフの認識 】
画像としてのグラフの認識は、時々、ハルシネーションを起こしますが、グラフのノードとエッジのラベルを理解し、グラフの隣接行列を構成できるほど高度です。

　【 グラフの生成 】
ただ、グラフの画像の出力に、Dall.Eは向いていません。出力されたグラフの画像は、彼が理解しているグラフの特徴を反映していないし、あるいは、反映させることができないように見えます。

画像を扱うマルチ・モーダルなシステムとして、画像グラフの知覚能力と画像グラフの生成能力には、大きな非対称性があるのです。

　【 一般的な画像とグラフの画像の認識の違い 】

AI:　マルチモーダルな生成AI技術は、基本的には、「言語理解と画像理解は、統一したフレームのもとで可能である」と考えるんだ。それは、成功しているように思うよ。

人間：　確かに、言語による表現も画像による表現もembeddingで表現される。
また、現在のAIの成功を支えているのはembedding技術だというのも確かだ。

ただ、グラフは画像としても表現されるけど、グラフをembeddingで表現するのって奇妙だと思わない？　言語的認識と数学的認識は、何かが基本的なところで違っているんだ。

Ai:　数学的認識も言語的認識なしには成り立たないよ。認識の諸能力の言語能力のもとでの「統一」は、さらに進む可能性がある。意識的にせよ無意識にしろ、生成AIが進んでいるのは、そういう道。

人間:　それは、うまくいかないと思う。「統一」は、数学的な認識能力のベースの上で、初めて可能になると、僕は思う。

Part 2 「グラフの認識の難しさ」

現在の生成AI技術が、グラフの問題をうまく処理できないだろうことは、AIの世界をいったん離れて、数学的にグラフの認識の問題を考えると、より一層明確になります。

セミナーのPart 2 「グラフの認識の難しさ」は、複雑性理論の観点から、この問題を扱います。

興味深いことは、もし、「万能の人工知能」が誕生したとしても、解けないグラフの問題があるということを数学的に示すことができるということです。こうしたメタレベルの認識は、現時点では、おそらく人間のみが可能なように感じています。

より興味深いことは、今回のセミナーでは十分に触れることはできませんが、前述のような奇妙な認識を可能とする Interactive Proofのような「数学的推論」は、本質的に「確率論的推論」だということです。

「グラフの隣接行列のような数学的対象は、embeddingによる表現には向いていない。」と言いました。 確かに。

ただ、より高次のレベルで、embedding表現のような確率的アプローチが、AIの数学能力の基礎づけに利用される可能性があると、僕は考えています。

量子コンピュータ上のAIシステムの登場が、そうした時代の扉を開くと思います。

Part 3 「AIのAgent Model」

僕は、現代のAI技術は、二つの点で大きな弱点を抱えていると考えています。
一つは、先に述べたような「数学的能力」の著しい欠如です。
あと一つは、彼の「知識」の主要な源は、現状では、いったんネット上に巨大に集積された情報だけだということです。

彼は、彼の「外部」に存在する「実在的な対象」（人間・社会・自然・宇宙等々）には無関心に見えます。彼は、また、対象の実在性にも、情報が「真実」であるかにも、関心がないように見えます。彼にとって重要なことは、利用できる情報がネット上にあるか否かです。

こうした問題は、すでに多くの人が関心を持っているように思います。それはとても大事なことだと思います。

残念ながら、今回のセミナーではそうした問題を、主題的に取り上げることはできないのですが、今回のセミナーでは、AIのAgentモデルを取り上げます。

Agent Modelとは、単純化すると、独立した主体としてのAgentが、「外部」の「環境」から入力を受け取り、Agentが内部で処理した結果を、「外部」に出力するというモデルです。

もとになっているイメージは、生物が外界から、食糧やエネルギーや感覚的刺激を入力として受け取り、何らかの反応を外部にかえすというイメージだと思います。

AIのマルチ・モーダル化が、客観的には、AIをAgentとして捉える条件を拡大しています。

外部環境との間だけでなく、複数のAgent(複数の人間・複数のAI)が相互作用するMulti Agent System として、外部環境と人間とAIが構成するシステムを考えることができます。

Multi Agent Model は、グラフで表現できます。

フィールドは違うのですが、COVIT-19の感染予測に、カナダではMulti Agent Modelを利用し成功を収めたと言われています。（人間とコロナ・ウイルスがAgentです。）

AIの未来の展望に、いつかこうした設計図が役に立つようになると考えています。

Agent Modelについて、プリミティブですが、いくつかの事例を紹介したいと思います。

( YouTube で見る )

画像とグラフの違いを考える — GPT4oと遊ぶ

グラフを読ませる

GPT4oにグラフを描かせようとしたら、いうこと聞かずうまくいかなかったので、今回は、画像として与えたグラフをGPT4oに読ませることにしました。
プロンプトは、次のようなものです。
「次の画像を、ノードと矢印を持つグラフとして解釈してください。」
テストしたのは、次の6つの画像です。
二番目の二つのノードのグラフの把握に最初失敗して、ちょっと不安を感じたのですが、意外とうまく働いてくれました。

セッションをYouTube で見る　<- click me
ショートムービー全体の再生リストは、こちらです。
pdfで資料を読む
次のpdf資料は、スクロールで全体を見られます。

画像で与えたグラフの隣接行列を求める

今回は、画像でグラフを与えて、そのグラフの「隣接行列」を求めるという課題にチャレンジします。

といいますのは、GPT4oとのやりとりの中で、彼が（彼女？）が、「グラフの隣接行列知っている」と言ったからです。

【 最初のサンプルで、幻覚を起こして失敗する 】
ところが、三つのノードからなるグラフの認識という最初のサンプルで、失敗してしまいました。原因は、幻覚です。
GPT4oは、与えられた図形のノードに番号を振ってグラフの分析を始めるのですが、「左上のノードをノード 0 」にします。ところが、問題は、与えられた図形には「左上のノード」は存在しないということです。　
生成AIが生み出すハルシネーションについては、皆さん経験があると思います。
「妄想」「虚言」「頭おかしい」とか、いろいろ言われるのですが、今回の幻覚で面白いのは、全部が発狂して妄想モードに入っているわけではないということです。
与えられた課題は、大雑把にいうと、図形を知覚するという人間なら視覚にあたる機能と、知覚された情報を隣接行列に変換するという人間なら大脳の働きにあたる機能の二段階から構成されてています。
今回のハルシネーションは、最初の「視覚」レベルでの異常です。いわば、「幻視」です。そのことは、後段の、視覚に与えられた情報から隣接行列を構成するという課題は（視覚が与えた情報自体が間違っていたのですが）、正しく処理していることを見ればわかります。
マルチモーダルなAIの幻覚がどこで起きるかを考えると面白いですね。

【 それ以降は、立ち直って立派な成績を収める 】
最初でつまづいたのですが、気をとりなおしてテストを続けました。
いろいろ優秀だと思います。結構、難しいグラフの画像から隣接行列うまく取り出すことに何度も成功しています。立派なものです。

セッションをYouTube で見る　<- click me
ショートムービー全体の再生リストは、こちらです。
pdfで資料を読む
次のpdf資料は、スクロールで全体を見られます。

隣接行列を与えてグラフの画像を描かせる

グラフの画像から隣接行列を取得することは出来そうなので、今回は、隣接行列を与えてグラフを出力させてみようと思います。
といいますのは、以前に「二つのノードとそれを結ぶ矢印からなるグラフの絵を描いて」というのをやってみたのですが、うまくいきませんでした。
ことばでグラフの形を説明しても、一回のプロンプトではなくfew-shot のプロンプトで修正を重ねても、こちらの意図はうまく伝わりませんでした。
今回は、グラフの隣接行列を理解できるのなら（簡単なグラフについてはそうした能力を持っていることは前回のテストで確認できましたので）、ことばではなく隣接行列でグラフの形を伝えようということです。
結果的には、今回も失敗したのですが、やり取りを通じて気付いたこともあります。

セッションをYouTube で見る　<- click me
ショートムービー全体の再生リストは、こちらです。
pdfで資料を読む
次のpdf資料は、スクロールで全体を見られます。

画像とグラフ について 中間でのまとめ

セッションをYouTube で見る　<- click me
ショートムービー全体の再生リストは、こちらです。
pdfで資料を読む
次のpdf資料は、スクロールで全体を見られます。

グラフの認識の難しさについて

このPart 2 では、マルチ・モーダルな生成AIのグラフ画像出力のトピックをいったん離れて、グラフの認識の難しさについて、複雑性理論の観点から考えます。

グラフの同型性

前段のPart 1で見てきた GPT4o のグラフ出力（正確に言えば、グラフ画像出力）への不満は、出力されたグラフが我々が期待していたグラフとは違っていたということです。

では、どのようなグラフの出力だったら、我々は満足したのでしょうか？
多分、「我々が期待したグラフと出力されたグラフが「同じ」だったら問題ないけど、あの出力は「違う」グラフだった」と答えるでしょう。

それでは、二つのグラフが「同じ」とは、どういうことなのでしょうか？

このセッションでは、二つのグラフが「同じ」だということ — 数学的には、二つのグラフは「同型」であるというのですが、グラフの「同型性」について考えます。

セッションをYouTube で見る　<- click me
ショートムービー全体の再生リストは、こちらです。
pdfで資料を読む
次のpdf資料は、スクロールで全体を見られます。

頂点の置換とグラフの同型性

今回のセッションでは、前回に引き続き、二つのグラフGとH が「同じ」である — 数学的に言えば二つのグラフが「同型」である — ための条件を考えます。

【 補足 — 同値なグラフの隣接行列の関係 】

隣接行列の話が出たので、スライドでは触れていないことを補足します。

同型な二つのグラフ Gとグラフ Hの頂点を一対一に対応づける置換 f が与えられた時、Gの隣接行列から、次のようにして Hの隣接行列を容易に導くことができます。

置換 f が与えられているので、すべての ( i, j )のペアについて、( f( i ), f( j ) )のペアを計算することができます。この時、Hの隣接行列の f( i )行 f( j )列の値に、Gの連接行列の i 行 j 列目の値を書き込みます。 これで、Hの隣接行列ができあがります。

このことは、グラフGの頂点をf で置換して、Gと同型のグラフHを作ることが出来るなら、辺の保存の条件は自然に導入できることを意味します。

セッションをYouTube で見る　<- click me
ショートムービー全体の再生リストは、こちらです。
pdfで資料を読む
次のpdf資料は、スクロールで全体を見られます。

Interactive Proofから見るグラフの非同型性

このセッションでは、Interactive Proof （対話型証明）という証明のスタイルを紹介します。最初は奇妙な議論に思えるかもしれません。

Interactive Proofには、Prover（証明者）とVerifier（検証者）という役割の二人の人物が登場します。

Prover（証明者）は、全知全能で、どんな問題も瞬時に答えを返す能力をもっています。ただし、彼は誠実ではなく、時々、人を欺く嘘をつきます。

Verifier（検証者）は、普通の人間です。理性をもっていて、証明者の主張を検証しようとします。彼は、証明者の言うことを、盲信はしません。

Interactive Proofというのは、この両者 — 証明者と検証者 — が対話を繰り返すことで、何かを証明しようというシステムです。

なんか怪しげですね。「全知全能の証明者」を仮定するなんて。まして、その「全能者」が嘘をつくこともあるなんて。怪しさ満点です。こんなシステムで、何か証明できるとは思えないと思います。

でも、こうした証明のスタイルは役に立つのです。Interactive Proofの有効性を初めて示したのが、今回取り上げる「グラフの非同型問題」だったのです。

グラフG0とG1が非同型であることのInteractive Proofによる証明は、スライドに紹介しているのですが、はじめてこの証明を読んだ人は、なぜこれがグラフの非同型性の証明になっているのかわからないと思います。それでいいのです。（でも、考えてみてください。）

Interactive Proofによる証明のポイントは、検証者が納得するまで何度でも証明者との対話を繰り返すところにあります。

グラフG0とG1の非同型性について、スライドの手順で、検証者は、何度も何度も何度も証明者に問い合わせを行います。何度繰り返しても証明者が常に正しい答えを返すなら、そのことがグラフG0とG1が非同型だということの証明になります。

逆に、繰り返しの問い合わせに対して、証明者の答えが正しかったり間違ったりすることがあれば（おそらく正答率は、1/2です）、そのことが、グラフG0とG1は非同型ではないこと、すなわち、グラフG0とG1は同型であることを示しています。

Interactive Proofは、こうしたスタイルで証明を行います。

少し飛躍があったかもしれません。次回は、グラフの非同型問題ではなく、グラフの同型問題がNP問題であることを、Interactive Proofでの証明者と検証者の役割を説明しながら、お話しようと思います。

グラフの非同型問題の複雑性のクラスが、NPより広いPSPACEであることは、Shamir が証明しています。

セッションをYouTube で見る　<- click me
ショートムービー全体の再生リストは、こちらです。
pdfで資料を読む
次のpdf資料は、スクロールで全体を見られます。

( blog 「AIとの対話の「心得」としての Interactive Proof」 )

Interactive Proofと証明概念の変化

このセッションでは、Interactive Proofの登場によって証明概念が大きく変化したことをみていきたいと思います。

セッションをYouTube で見る　<- click me
ショートムービー全体の再生リストは、こちらです。
pdfで資料を読む
次のpdf資料は、スクロールで全体を見られます。

Interlude — 「GPT4と遊ぶ」 画像生成を振り返る

前回、グラフの非同型性証明にInteractive Proof という手法を使うという話をしました。Interactive Proofの発見は、数学的証明が、決定論的な演繹に還元されるというこれまでの証明観の、大きな見直しを迫るものでした。ただ、今回のセミナーでは、こうした話題に、深く入ることはできません。興味ある方は、2020年のマルゼミ、「確率と証明」を参照ください。http://marulabo.conohawing.com/test/docs/pcp/

すこしヘビーな話題だったので、Part 3 に入る前に、今回は幕間として、「GPT4oと遊ぶ」セッションにしてみようと思います。

セッションをYouTube で見る　<- click me
ショートムービー全体の再生リストは、こちらです。
pdfで資料を読む
次のpdf資料は、スクロールで全体を見られます。

AIのAgent-Based Model

はじめに

Part 1 では、GPT4o等のマルチ・モーダルな生成AIが、一般的な画像の生成では素晴らしい能力を発揮し、グラフの認識では成功しているように見えるにもかかわらず、グラフの画像の生成では、失敗することを見てきました。

Part 2 では、いったんAIの世界を離れて、数学的対象としてのグラフは、生成AIが少ない頂点数の少ない簡単なグラフでは成功しているように見えるグラフの認識でも、コンピュータにとっては、すぐに「手に負えなくなる」ような、極めて複雑な対象であることを、複雑性理論の立場から見てきました。

【 それはすぐに埋められる小さなスキマ？】

グラフの問題は、生成AIの華々しい成功に比べると、小さなスキマでいずれなんとかなると感じている人も多いと思います。

ただ、僕は、現在のAIの能力の基本的な問題の一つは、我々は、グラフをはじめとする数学的な対象の特殊な性格をAIの能力に組み込むことにまだ成功していないところにあると考えています。

グラフの問題は、そのひとつの表れで、それは、見かけ以上に「大きなスキマ」なのだと僕は感じています。

セッションをYouTube で見る　<- click me
ショートムービー全体の再生リストは、こちらです。
pdfで資料を読む
次のpdf資料は、スクロールで全体を見られます。

フォン・ノイマンの「自己複製機械」

Agent Systemという考えの起源の一つは、フォン・ノイマンの「自己複製機械」だと言われています。「Agentとは何か？」、「Agent-Based Systemとは何か？」を考える上で、フォン・ノイマンのアイデアは、参考になると思います。

特に、Agent-Based System の基本的な二つの概念、自律的な存在としての「Agent」と、その「外部」としての「環境」がどういうものかを知るには、いい素材だと思います。

セッションをYouTube で見る　<- click me
ショートムービー全体の再生リストは、こちらです。
pdfで資料を読む
次のpdf資料は、スクロールで全体を見られます。

AIの能力拡大とAgentモデル – RAG

このセッションでは、AIの問題にあらためてフォーカスして、現在のAIの能力拡大の動きの中で、Agentモデルが大きな役割を果たしていることを、具体例で紹介しようと思います。

最初に、AIの世界でAgentモデルが注目されるきっかけとなった、RAG(Retrieval-Augmented Generation)の話をします。

ついで、Agent モデルの典型的な適用である ATM (Adversarial Tuning Multi-agent system)の話をしようと思います。

セッションをYouTube で見る　<- click me
ショートムービー全体の再生リストは、こちらです。
pdfで資料を読む
次のpdf資料は、スクロールで全体を見られます。

AIの能力拡大とAgentモデル2 – ATM

従来のLLMは、十分な知識を必要とする質問に直面したときに、自身の内部の情報ではそれに答えられない場合、不適切あるいは誤った答え・幻覚を返します。

先のセッションで見たRAGは、知識が不足する場合には、外部の知識データベースにアクセスして、意味的に関連するドキュメントを取得して、その情報をLLMに注入することで、正確で幻覚の少ないLLMの実現を目指したものです。

しかし、それは、従来のLLMと比較して、大きく「外部」との接点を拡大することを意味します。インターネット上にはノイズや捏造されたコンテンツがあふれているため、RAGシステムはこれらのノイズの影響を受けやすく、誤って応答するリスクが新しく生まれます。

ATM (Adversarial Tuning Multi-agent system)は、基本的には、こうしたRAGで拡張されたLLMの有害なコンテンツ生成の問題に対応するために提案されたものです。

セッションをYouTube で見る　<- click me
ショートムービー全体の再生リストは、こちらです。
pdfで資料を読む
次のpdf資料は、スクロールで全体を見られます。

AIの能力拡大とAgentモデル3 – AgentGym

先に見たRAG (Retrieval Augmented Generation)は、すでに現在の生成AIの基本モデルの一部になっていますし、ATM (Adversarial Tuning Multi-Agent System )も、現在、利用が拡大しています。

このセッションでは、長期的な視点でAIの進化を考えようという、上海の復旦大学のプロジェクトAgentGymを紹介しようと思います。もちろん、Agentモデルを中心的なアプローチとして採用しています

セッションをYouTube で見る　<- click me
ショートムービー全体の再生リストは、こちらです。
pdfで資料を読む
次のpdf資料は、スクロールで全体を見られます。

今回のセミナーで説明できなかったことと理論的展望

このセッションは、今回のセミナーに向けた最後のセッションです。
ここでは、今回のセミナーで説明できなかったことと、次回のセミナーでの理論展開の予定を、簡単に紹介したいと思います。

セッションをYouTube で見る　<- click me
ショートムービー全体の再生リストは、こちらです。
pdfで資料を読む

セミナー動画

セミナーの公開情報はこちら
https://maruyama097.blogspot.com/2024/11/6ai.html

Part 1 「画像とグラフの違いを考える」

↑ タイトルのクリックでスライドのpdfへ

Part 2 「グラフの認識の難しさ」

↑ タイトルのクリックでスライドのpdfへ

Part 3 「AIのAgent Model のグラフ表現

↑ タイトルのクリックでスライドのpdfへ

The post AIとグラフ first appeared on MaruLabo.