chatGPTに代表される生成AI、めっちゃ流行っちゃってるねぇ。
2023年にchatGPTを触ったときは「こりゃオモチャで、なんちゃってAIじゃん。大袈裟な名前つけるなよ。使えねぇ。」だった。
「AはBである!」と思いっきり自信ありげに嘘をつく。これを「ハルシネーション」と呼ぶ。
2年後(2025年2月)、chatGPTがスゴイと話題になっているので久しぶりに触ってみると、かなり実用的になっていた。2023年より推論モデルが大幅に進歩していて、2023年のような簡単な問いに「ハルシネーション」を起す事はなくなっている。
「ハルシネーション」がなくなったのか?というと違う。専門性の高い分野では、普通に自信ありげに嘘をつく。
データセットをカスタマイズすれば実業務に利用可能なレベルまで行けるかもしれない。
2023年段階では「本格的に調査」「生成AIの学習理論」「具体的な生成AIの学習方法」「生成AIの設計・実装」「APIの利用」などを学ぶ必要はないと考えたが、2023年に見送った調査・学習を始めることにした。
実業務、例えば市役所の受付業務で「ハルシネーション」が発生しては使い物にならない。100%の精度で正しい回答ができる必要がある。
専門性のまったくない通常の会話レベルを「基本データセット」と定義した場合、基本データセット段階で「ハルシネーション」が発生してしまうようでは使い物にならない。
この段階では「ハルシネーション」は発生せず、知らないものは知らないと答える必要がある。
基本データセット段階で問題ない場合、市役所業務の専門的なデータセットを学習させる。100%の精度で正しい回答を出来れば実業務でも利用可能になる。
LLM(Large language Models)と、従来のレキシコンベースの言語処理モデルとの違いは「パラメータ数(ディープラーニング技術に特有の係数の集合体)」だ。
元々、レキシコンやレキシコンベースの言語処理モデルでも「データ量(登録する情報量)」「計算量(コンピューターが処理する仕事量)」は膨大であり、実行形式のデータやファイルを生成するプロセスは、労働集約的かつ膨大な作業量だ。
その点でLLMとレキシコンに違いはない。
大きな違いは「パラメータ数(ディープラーニング技術に特有の係数の集合体)」にある。
LLMは自然言語処理に特化した生成AIの一種で、膨大なテキストデータと高度なディープラーニング技術を用いて構築された、自然言語処理(NLP:Natural Language Processing)の技術だ。
従来の言語モデルと比較して、「計算量(コンピューターが処理する仕事量)」「データ量(入力された情報量)」「パラメータ数(ディープラーニング技術に特有の係数の集合体)」
バージョン | 最大コンテキスト長 | ハードウェアの進化 |
---|---|---|
GPT-2 | 2048トークン | GPU4枚以上で学習 |
GPT-3 | 4096トークン | TPU/GPUクラスタで学習 |
GPT-4 | 8192~128000トークン | 超大規模なクラウドGPU |
未来のGPT? | 1Mトークン(100万字)? | より強力なTPU/GPU+新アルゴリズム |
ハルシネーションが限りなくゼロに近づいても、生成AIは人が書いた表記ゆれのある設計書を理解できる事には繋がらない。
生成AI側に寄せて最適化された設計書を書くと、設計書が膨大な量になってしまい現実的ではない。
UI(画面周り)の要件は比較的単純で「入力→入力時のチェック」「出力」だけだ。
![]() | レキシコン レキシコンは語彙の集合(辞書的な知識)で「コンピューターにおけるレキシコン」と「言語学におけるレキシコン」「哲学・認知科学におけるレキシコン」では意味が変わってくる。 生成AIは膨大なレキシコンを学習させているので、レキシコンの持つ単語同士の意味や関連性を理解している・・・ 続きを見る |