生成AIはなんてちゃってAIか？エンジニア視点の生成AI【2025年7月】
生成AIはなんてちゃってAIか？エンジニア視点の生成AI【2025年7月】
生成AIはなんてちゃってAIか？エンジニア視点の生成AI メニュー
- 嘘つき生成AI
- 実業務で求められる生成AIのレベル
- LLM（大規模言語モデル）
- レキシコン
- GPTのハードウェアとコンテキストウィンドウの関係
- 深刻な電力問題
- 生成AIによる業務システムのコーディングの可能性
嘘つき生成AI
chatGPTに代表される生成AI、めっちゃ流行っちゃってるねぇ。
2023年にchatGPTを触ったときは「こりゃオモチャで、なんちゃってAIじゃん。大袈裟な名前つけるなよ。使えねぇ。」だった。
「AはBである！」と思いっきり自信ありげに嘘をつく。これを「ハルシネーション」と呼ぶ。
2年後（2025年2月）、chatGPTがスゴイと話題になっているので久しぶりに触ってみると、かなり実用的になっていた。2023年より推論モデルが大幅に進歩していて、2023年のような簡単な問いに「ハルシネーション」を起す事はなくなっている。
「ハルシネーション」がなくなったのか？というと違う。専門性の高い分野では、普通に自信ありげに嘘をつく。
データセットをカスタマイズすれば実業務に利用可能なレベルまで行けるかもしれない。
2023年段階では「本格的に調査」「生成AIの学習理論」「具体的な生成AIの学習方法」「生成AIの設計・実装」「APIの利用」などを学ぶ必要はないと考えたが、 2023年に見送った調査・学習を始めることにした。
実業務で求められる生成AIのレベル
実業務、例えば市役所の受付業務で「ハルシネーション」が発生しては使い物にならない。100％の精度で正しい回答ができる必要がある。
専門性のまったくない通常の会話レベルを「基本データセット」と定義した場合、基本データセット段階で「ハルシネーション」が発生してしまうようでは使い物にならない。
この段階では「ハルシネーション」は発生せず、知らないものは知らないと答える必要がある。
基本データセット段階で問題ない場合、市役所業務の専門的なデータセットを学習させる。100％の精度で正しい回答を出来れば実業務でも利用可能になる。
LLM（大規模言語モデル）
LLM（Large language Models）と、従来のレキシコンベースの言語処理モデルとの違いは「パラメータ数（ディープラーニング技術に特有の係数の集合体）」だ。
元々、レキシコンやレキシコンベースの言語処理モデルでも「データ量（登録する情報量）」「計算量（コンピューターが処理する仕事量）」は膨大であり、実行形式のデータやファイルを生成するプロセスは、労働集約的かつ膨大な作業量だ。
その点でLLMとレキシコンに違いはない。
大きな違いは「パラメータ数（ディープラーニング技術に特有の係数の集合体）」にある。
LLMは自然言語処理に特化した生成AIの一種で、膨大なテキストデータと高度なディープラーニング技術を用いて構築された、自然言語処理（NLP：Natural Language Processing）の技術だ。
従来の言語モデルと比較して、「計算量（コンピューターが処理する仕事量）」「データ量（入力された情報量）」「パラメータ数（ディープラーニング技術に特有の係数の集合体）」 という3つの要素を大幅に強化することで、より高度な言語理解を実現してる。
デコーダーのみの自己回帰モデルであり、因果言語モデルとも呼ばれる。
レキシコン
レキシコンとは
レキシコンは語彙の集合（辞書的な知識）で「コンピューターにおけるレキシコン」と「言語学におけるレキシコン」「哲学・認知科学におけるレキシコン」では意味が変わってくる。
生成AIにとってのレキシコン
生成AIは膨大なレキシコンを学習させているので、レキシコンの持つ単語同士の意味や関連性を理解している。
生成AIは「巨大なレキシコンの集合体」で、「言葉の意味・関連性・文脈」を高度に扱えるようになった「超拡張・超機能向上版レキシコン」とも言える。
コンピューターにおけるレキシコン
コンピューターにおけるレキシコンは、主にコンピューターが言葉を理解するために使う「語彙データベース」を表す。
- 語彙データベース
単語の意味、品詞、関連性などのデータを格納。 - 一般的用途
形態素解析（Mecab、Sudachiなど）や自然言語処理（NLP）で使用。 - 生成AIの用途
生成AIにとってレキシコンは文章を理解するための「辞書」のような役割。
言語学におけるレキシコン
言語学におけるレキシコンは、語彙の集合（辞書的な知識） のことだ。
- 構造的な情報
単語の意味、品詞、活用など。 - 語彙リスト
言語や専門分野で使われる単語の一覧。 - 心理レキシコン
人間が頭の中に持っている「単語の知識」。
例）「リンゴ」と聞いたら、形・色・味のイメージがすぐに出てくるのは、脳内レキシコンのおかげ。
哲学・認知科学におけるレキシコン
哲学・認知科学におけるレキシコンは、「人間の思考と言語の関係」を研究する中で、概念的な知識の集合として捉えられることもある。
- 人間が単語をどう「意味ネットワーク」としてつなげているのか？
- どうやって新しい単語を覚え、過去の知識と関連付けるのか？
生成AIとレキシコンと違い【セクション ブラッシュアップ 継続的 あまい】
レキシコンと生成AIの違いは「文脈の理解」「文章の生成」「フィードバックからの学習」だ。
文脈の理解
レキシコンは「単語単位での理解（単語の意味、品詞、関連性を格納した辞書）」に留まるが、生成AIはレキシコンでは不可能な「文脈の理解」が可能だ。
レキシコンは「単語の理解」に留まるので会話は成立しないが、生成AIは「文脈を理解」できるので会話が成立する。
生成AIの文脈の理解とは？
単語だけでなく「文全体の意味」や「会話の流れ」まで考慮できる。
どの単語が重要か、前後の関係を分析しながら適切な単語を選択できる。
長い文章や会話の履歴を考慮し、文脈に沿った応答ができる。
レキシコンとは違い、生成AIは「話の流れを考えながら適切な言葉を選び、自然な返答を作れる」ということが最大の違いだ。
1. 文脈の理解の仕組み
1.1 単語の意味が文脈によって変わる
I went to the bank to withdraw money. お金を引き出しに銀行へ行った。（銀行）
I sat on the river bank and fished. 川岸に座って釣りをした。」（river bank＝川岸）
この場合、文全体を読んで、どちらの意味のbankを指しているのかを理解しなければならない。生成AIは、周囲の単語の関連性を見て適切な意味を選ぶことができる。
1.2 文章の流れを考慮して自然な応答をする
「昨日の映画、面白かった！」と誰かが言ったら、レキシコンだけでは「映画」「面白い」という単語の意味は分かっても、
「どんな映画の話なのか？」
「なぜ面白かったのか？」
「どういう反応をするべきか？」
といった 「話の流れ」や「話し手の意図」 までは分からない。
生成AIはこれらを考慮し「どんな映画を見たの？」とか「面白かったポイントは？」ような、話の流れに合った返答を生成できる。
過去の会話の流れや一般的な知識から「どんな可能性があるか？」の最もあり得る選択肢を判断する。
例）過去の会話で「アクション映画が好き！」という情報があったら、「昨日の映画、面白かった！」→「もしかしてアクション映画を見たの？」のような推測できる。
「文章から想像する」仕組みが備わっているように見えるが、厳密には確率的に「最も適切な解釈」を選ぶ仕組みを実現している。
「昨日の映画、面白かった！」 という文章を受け取ったとき、生成AIは
1. 「過去の映画体験」についての発言だな（時制・文脈の把握）
2. 「映画」は何か具体的な作品を指してる可能性が高い（前の会話に関連があるか確認）
3. 「面白かった！」はポジティブな評価だから、次の応答は共感・質問のどちらかが適切
4. 「どんな映画を見たの？」or「面白かったポイントは？」のどちらかが自然な返答になる
このようなプロセスを確率モデルを使っておこない、「どんな映画を見たの？」「面白かったポイントは？」のような質問を返している。
生成AIは「完全に想像する」のではなく「確率的に最も適切な応答」を選んでいる。 人間の「直感的な想像」とは違い「データと確率」に基づく推測をしている（推論モデル）。
1.3 文脈の長期記憶と短期記憶を組み合わせる
生成AIは 「直前の単語だけでなく、会話全体の流れ」 を考慮する。 例えば、
Aさん：「昨日、新宿でラーメン食べたんだ。」
Bさん：「へぇ、何ラーメン？」
Aさん：「麺屋武蔵の豚骨ラーメン！」
この場合、Bさんが「何ラーメン？」と聞いたとき、AIは直前の「ラーメン」という単語だけでなく「新宿で食べた」という前の情報も考慮できる。
単なる辞書的な単語の関連性（レキシコン）だけでは、「何ラーメン？」の意味を正しく理解できない。 生成AIは、長い文章の流れ（長期記憶）と、直前の単語（短期記憶）の両方を組み合わせて会話を理解する。
文章の生成
「りんご」「果物」「赤い」のような単語の関連性を、生成AIは埋め込みベクトル（Word Embeddings） を使って関連性を数値化する。 GPTのベースであるTransformerモデルでは「どの単語が重要か」を文脈ごとに判断するAttention機構がある。
レキシコンは「語彙データベース」でしかなく生成はできない。生成AIは「文章の生成」が可能になった。
フィードバックからの学習
レキシコンなどのデータ、論文・書籍などのデータ、WEB上のデータを学習させたり、人と会話しする事で「フィードバックからの学習」が可能になった。
複数のレキシコンを学習する事で、より優れたレキシコンになっているとも言える。 膨大な論文・書籍などを学習することで、多方面からの引用や分析が可能なった。
GPTのハードウェアとコンテキストウィンドウの関係
| バージョン | 最大コンテキスト長 | ハードウェアの進化 |
|---|---|---|
| GPT-2 | 2048トークン | GPU4枚以上で学習 |
| GPT-3 | 4096トークン | TPU/GPUクラスタで学習 |
| GPT-4 | 8192～128000トークン | 超大規模なクラウドGPU |
| 未来のGPT? | 1Mトークン（100万字）？ | より強力なTPU/GPU+新アルゴリズム |
深刻な電力問題
2021年時点で全世界のデータセンターの電力消費量は、全世界の電力消費量の約1～2％に達しており、この段階では生成AIは普及していない。
2021年時点でデータセンターの主な利用は「Googleなどのネットサービス事業者のシステム」と「企業の業務システム」だ。
2025年年のGoogleの検索1回あたり消費電力は「平均0.3Wh」に対し、GPT4のリクエスト1回あたりの商品力は「平均2.9Wh」消費する。実に10倍の電力が必要になる。
生成AIによる業務システムのコーディングの可能性
100％要件を満たすような業務（コーディング）には向いていない
人がコーディングした場合「設計書の機能を満たすソースコード」を記述する。
生成AIによるコーディングも、人と比較し多少の記述に違いがあっても、「設計書の機能を満たすソースコード」という点は100％実現する必要がある。
生成AIは「大規模データからの確率による最適解」を出力しているので、100％要件を満たすような業務（コーディング）には向いていない。
※生成AIの推論モデル（埋め込みベクトル、Self-Attention、統計的確率分布など）は一定量のハルシネーションが発生する事を前提にしてる。
生成AIのよるコーディングはUI（画面回り）だけ【セクション ブラッシュアップ済】
社内で使う業務システムのUI（画面周り）は、多少の問題があっても大問題にはならない。
UI（画面周り）の要件は比較的単純で「入力→入力時のチェック」「出力」だけだ。UIは生成AIによるコーディングの可能性が考えられる（業務要件が関係するような入力チェックは複雑なので除く）。
前述のとおり、生成AIは推論モデルでありバグは混入するので、人によるコーディング以上の試験が必要になる。
ビジネスロジックを伴う機能では利用できない【セクション ブラッシュアップ済】
GPT4は、トランザクションが発生する処理（データ通信、データベース関連）のコーディングに利用できる可能性はゼロと言っていい。
銀行の勘定系システムを例に説明する。
自行内の処理は全銀ネットワークや他行と通信は発生しない。
生成AIを利用できるのは製造工程の1割に満たない
勘定系システムにおけるUI（画面周り）は、製造工程全体の工数の1割程度だ。
生成AIを用いて効率化されるのは、この製造工程の1割に満たない工程なので、あえて生成AIという全く別の製造方法を用いるメリットはない。
生成AIを使う事で、試験の方法、バグの排除、工程管理などを含む品質管理を分けて考える必要がでる。
結果的にプロジェクト管理が複雑になり、最も重要な、品質、予算、納期に影響を与える可能性があり、リスクに対して得られるリターンを考えると生成AIを利用するメリットは現状では全くない。
UI（画面周り）は、製造工程全体の工数の1割程度。
生成AIを使う事で、試験の方法、バグの排除、工程管理などを含む品質管理を分けて考える必要で、プロジェクト管理が複雑になる。
ハルシネーションが限りなくゼロに近づいても、生成AIは人間書いた設計書を理解できない
ハルシネーションが限りなくゼロに近づいても、生成AIは人が書いた表記ゆれのある設計書を理解できる事には繋がらない。
生成AI側に寄せて最適化された設計書を書くと、設計書が膨大な量になってしまい現実的ではない。
UI（画面周り）の要件は比較的単純で「入力→入力時のチェック」「出力」だけだ。
業務要件が関係するような入力チェックは、やはり生成AIに寄せて設計書を作ると大変なので現実的ではない。UIに使えると言っても部分的でしかない。
人が書いた設計は設計書は、表記ゆれがあり、また不完全な事も多い。
設計書段階でのミス・モレを、人はどこかの工程で気付く事ができるが、生成AIにコーディングを丸投げしてしまうと、生成AIはこの要件は曖昧だ、場合によっては機能バグなのではないか？といった事には気づけない。
人も最初は気付かない事が多いが、コーディングしている最中に気づくなど、どこかで気付く。
これは知識、経験と能力による気づきだが、その結果SEに「ここは厳密にはどういう処理ですか？」のような質問が起こり、最終的には問題を解決する。
生成AIは学習データから確率的に最も適切であろう回答を選択をしてくるので、この気付きのようなものを生成AIが実装できるかがポイントになる。現状では気付くという反応は生成AIにはないように見える。
「埋め込みベクトル」「Self-Attention」「統計的確率分布」などが生成AIのコアアーキテクチャで、これらのモデルで果たして気付きの実装がされているか？というと懐疑的だ。
また気付きが実装されても、その気づきから問題のポイントをブレークダウンしていく厳密な会話を、推論モデルで実装できるのか？ これは可能性はあると思うが、現在の技術の延長線上ではなく、もう1つ2つエッセンスが必要だと考えている。
人は設計書の問題に気付く事ができるでの問題は解決される。
生成AIに気付きはなく、問題を見つける事ができない。
生成AIの推論モデルは、その名のとおり「確率的な推論」であるため、「ミス・モレ」が発生することが前提条件になりる。「ミス・モレ」を許さない業務とは完全にコンフリクトしている。
業務で生成AIを利用する場合、ルールベースの業務を学習させる必要があるが、ここで問題が生じる。
生成AIの学習には多大な時間とコストがかかる。簡単にルールベースの仕組みを組み込めるわけではない。
業務が官庁や銀行のような変更が少ない業務なら、ルールベースで一度学習させれば十分コストに見合う成果が出せると普通は考える。
生成AIが活躍できる分野
生成AIが面白いのは、一般的な会話や、ちょっとした専門性のある会話まで、曖昧性を理解しているように思えてしまうところだ。
生成AIが行っているのは、学習データを元に「埋め込みベクトル」「Self-Attention」「統計的確率分布」などの理論（ロジック）をぶん回しているだけだが、 それが結構、的を得ているように感じるし、ひょっとしたら本当に的を得た回答になってる可能性もある。
おすすめ記事
 | レキシコン レキシコンは語彙の集合（辞書的な知識）で「コンピューターにおけるレキシコン」と「言語学におけるレキシコン」「哲学・認知科学におけるレキシコン」では意味が変わってくる。 生成AIは膨大なレキシコンを学習させているので、レキシコンの持つ単語同士の意味や関連性を理解している・・・ 続きを見る |