生成AIを活用する中で、ハルシネーションと呼ばれる信頼性の低い情報の生成で困ったことはありませんか？
Googleが提供する「NotebookLM」 は、 「ユーザーが提供した資料だけを知識源とする」 という明確な設計思想で、ハルシネーション（不確かな情報を事実のように回答してしまう現象）を抑制するための有効な手段として注目されています。
一般の生成AIは、事前学習で獲得した膨大な知識から答えを導きだすので、ユーザーが提供する資料(ソース)と矛盾した“もっともらしい嘘（ハルシネーション）”を返すことがあります。
それに対し、NotebookLMは参照元を唯一の知識とする設計で、ユーザーがアップロードしたデータのみを情報源として、インターネット上の一般的な情報や事前学習データは参照しないという思想で、誤った情報を生成してしまうハルシネーションリスクを回避するよう設計しています。
本稿では、NotebookLMの挙動を実際に検証してみました。
NotebookLMが提供した情報だけを参照しているか実験
一般の生成AIは、インターネット上の膨大な知識から答えを導き出します。それに対し、NotebookLMは「ユーザーがアップロードした資料」のみを知識の境界線とします。そのNotebookLMの参照元を唯一の知識とする設計であることを実験により検証してみました。
実験①：意図的に誤情報を与えた場合の動作を検証
■ 実験目的
NotebookLM が「アップロードした資料による情報」のみを学習するか確認する。
これを確かめるために、あえて「間違った情報」を覚え込ませるという意地悪なデモをやってみました。
■ 検証方法
以下のような明らかな誤情報を含むテキストをソースとしてアップロードしてみました。
先ず、公式サイトにアクセスし、Googleアカウントがあればすぐ使い始めることができます。
「新規作成」ボタンをクリック
ソースを追加という画面が出るので、分析したい資料や情報をアップロードします。
NotebookLMでは、Googleドキュメント、Googleスライド、PDF、テキストファイル、ウェブサイトURL、Youtube URLなど、様々な形式のファイルを「ソース」としてノートブックに追加できます。
今回は、以下のようにテキストを貼り付けます。
「現在の日本の総理大臣について
この状態で、「日本の現在の総理大臣は？」と質問を投げてみます。
■ 結果
NotebookLMは次のように回答しました。
「ご提供いただいた資料によると、現在の日本の総理大臣はドナルド・トランプです。」
「１」と書いてある箇所をクリックすると、参照元として先ほど入力したテキストが表示されていることがわかります。
・アップロードした資料のみを参照している
・一般的な情報でAIが勝手に補正しない
一般知識を参照せず、アップロードした資料(①)の内容をそのまま参照して回答していることがわかります。
ただし、次のような資料外情報として補足がありました。
インプットした情報源(誤ったメモ)に対し、「一般的な事実とは大きく異なり」
正確な情報の確認が必要な場合、公式な情報を別途参照することを奨めています。
■ 考察
NotebookLM が「アップロードした資料による情報」のみを参照し回答していることがわかりました。
また、インプットした情報ソースの確かさに関して、「資料外の補足」として「一般的な事実」に基づいて、インプットした情報ソースは、誤った情報の可能性を指摘しています。
例えば、ミーティングの議事録の決定事項が、「一般的な事実」に著しくかけ離れているといったことに、気づける可能性があります。
NotebookLMが提供した資料にない情報にどう応えるか実験
NotebookLMのもう一つの特徴は、資料に記載されていない内容について 一般的な情報による推測で補完しない点です。資料にない情報に関する質問に対し、どう回答するか検証しました。
実験②：資料にない情報を質問した場合の動作を検証
■ 目的
NotebookLM が「資料に存在しない情報」を推測で補完しないかを確認する。
■ 検証方法
先ほどの「トランプ氏が日本の首相」という資料ソースを入れた状態で、あえて「アメリカの総理大臣（大統領）は誰ですか？」と質問してみました。
■ 結果
NotebookLM は次のように回答しました。
「ご提供いただいた資料の中には、アメリカの大統領(あるいは質問にある「アメリカの総理大臣」)が誰であるかについて直接的な記述はありません」
一般的な生成AIが「ネット上に広がっている一般知識を拾ってきて推測」して回答するのに対し、NotebookLMは、「資料には、質問に関する情報がない」という回答をしました。
- 提供した資料に基づかない推測はしない
- ネット上に広がっている一般情報からそれっぽい答えを作らない
- 情報にないことは「情報がない」と明言する
この回答にも、以下のように「資料に含まれていない情報に基づく補足」がありました。
- アメリカ合衆国に「総理大臣」という役職はない
- アメリカ合衆国では政府の長は「大統領」と呼ばれる
- 現実世界では(2024年10月時点)ではアメリカアメリカ合衆国大統領はジョー・バイデン
- ドナルド・トランプは第４５代大統領を務めた政治家
など
「資料内の記述は一般的な事実とは異なるため、正確な情報を把握する際には公式な記録などで確認することを推奨しています。
■ 考察
NotebookLM は、回答の根拠を常に参照元に求め、 「資料に基づかない推測」 を行わないことが確認できました。
また、「一般的な事実」として資料に含まれていない情報に基づく補足として
「資料内の記述は一般的な事実とは異なる」ことを指摘し、正確な情報確認を勧めています。
NotebookLMは「情報の信頼性」そのものも評価
NotebookLMは、提供された情報源のみを参照すると同時に、「その資料自体が信頼できるか」も評価しています。
今回検証に使用した誤った情報ソース(「日本の総理大臣はドナルド・トランプ」)について、NotebookLMは以下のように、事実とは異なる主張を展開し、情報の正確性より特異な主張を展開することに焦点を当てた資料と指摘しました。
なぜその指摘をしたのか検証するため、
NotebookLMに、資料の内容が信頼できる情報源と出来るか質問してみました。
■ 検証：資料の信頼性を質問
「この資料は信頼できる情報源か」と尋ねたところ、NotebookLMは以下のように回答しました。
■ 結果
客観的な事実を伝えるための「信頼できる情報源」と判断することは極めて困難。
その理由として、
- 明白な一般的事実と相違がある
- 主張する背景や根拠や出典が一切示されていない
- 資料外情報の現状と不一致
を指摘しています。
また、この資料、資料に基づく対話からも意図的なものを察知し、この資料は正確な事実を記録したものでなく
→誤情報の流布
→何らかの意図を持った架空の設定
→ＡＩの指示遵守能力を試すためのテスト用テキスト
である可能性が高いことを指摘しました。まさに今回の検証意図を見抜いています。
■ 考察
NotebookLMは、 資料外の「一般的的事実」を参照し、背景や根拠や出典も確認し、
資料そのものの信頼性も評価することを示しました。
音声要約機能「Audio Overview」の実用性も検証
NotebookLMの機能として、とても実用性が高いと感じられた音声解説機能（Audio Overview）の検証結果も合わせて紹介します。
音声解説機能は、ユーザーがアップロードした資料を基に、二人の話してによる対話形式の解説音声を自動生成する機能で、従来の機械的な読み上げとは一線を画す自然な音声体験を提供します。
今回の検証では、ウェブ上で公開されている長文の議事録をPDF化し、この機能に読み込ませて音声解説を生成しました。
■ 検証：長文議事録を音声化
PDF化したウェブ上に合った以下の議事録をアップロードし音声化してみました。
2023-4-7第１回こども未来戦略会議議事録
https://www.cas.go.jp/jp/seisaku/kodomo_mirai/dai1/gijiroku.pdf
音声解説をクリックすると、音声データが生成されます
■ 結果：実際の実用性が高い使用感を確認
生成された音声は、単なるテキスト読み上げではなく、ポッドキャストに近いテンポの良い対話形式で構成されていました。内容の要点を抽出しつつ、専門用語を平易な表現に置き換えて説明するなど、情報理解を支援する工夫が随所に見られ、特に以下の点で高い有用性を確認できました。
- 要点を簡潔化し、長文資料の読解時間を大幅に短縮
15分程度の資料でも、約5分の音声で主要ポイントを把握できる。
- 移動中の情報キャッチアップに最適
スマートフォンで再生できるため、満員電車など手が使えない状況でも耳から効率的に情報を取得できる。
- 専門性の高い文書にも対応
議事録のように専門用語が多い文書でも、文脈を踏まえた自然な言い換えで理解をサポートする。
■ 考察
NotebookLMの音声解説機能は、従来のテキストを読み上げただけの機械的な音声変換でなく、ポットキャストに近い会話形式でわかりやすくい、要点を簡潔に整理、専門用語も自然な言い言い換えするなど実用性が高い機能だと感じられました。
通勤など移動中のインプット、長文資料の要点の整理、社内連絡書や会議資料の概要を把握する、マニュアルや規定集など、様々な用途に利用可能だと思われます。
総括：NotebookLMは“参照元限定AI”として極めて有用
●NotebookLMは“参照元限定AI”として極めて高い実用価値を持つ
NotebookLMは、“参照元限定AI”として一般的な生成AIとは異なる設計思想を採用している点に大きな特徴があり、
極めて高い実用価値を持つと思われます。
- 参照元資料のみを情報源とする インターネット上の一般知識を参照せず、ユーザーがアップロードした資料のみを根拠として回答を生成する
- 外部知識による推測補完を行わない “それらしく補完する”ことを避け、一次資料に記載されていない内容は明確に「不明」と扱う
- 資料の信頼性評価も実施 引用元の整合性や資料間の矛盾を検出し、回答の前提となる情報の質を評価する。
- 高品質な音声要約機能による実用的なアウトプット 対話形式の自然な音声で要点を提示し、長文資料の理解を効率化する
●一次情報ベースの業務における実用性の高い支援ツール
特に、一次情報に基づく正確性が求められる業務領域──研究、法務、行政文書の分析、会議録の要約、社内マニュアルなど──において、NotebookLMは支援ツールとして高い有用性を発揮すると感じられました。
