生成AIを活用する中で、ハルシネーションと呼ばれる信頼性の低い情報の生成で困ったことはありませんか？
Googleが提供する「NotebookLM」 は、 「ユーザーが提供した資料だけを知識源とする」 という設計思想作られており、ハルシネーション（不確かな情報を事実のように回答してしまう現象）を抑制するための有効な手段として注目されています。
一般の生成AIは、事前学習で獲得した膨大な知識から答えを導きだすので、ユーザーが提供する資料と矛盾した、もっともらしい嘘（ハルシネーション）を返すことがあります。
それに対しNotebookLMは、ユーザーがアップロードしたデータのみを情報源とし、一般的な情報や事前学習データは回答に使用せず、誤った情報を生成してしまうハルシネーションリスクを回避するよう設計されております。
本稿では、NotebookLMを実際に使ってみました。
NotebookLMが提供した情報だけを参照しているか検証
一般の生成AIは、インターネット上の膨大な知識から答えを導き出します。それに対し、NotebookLMはユーザーがアップロードした資料のみを参照します。その機能が正しく動作するのかどうか、検証してみました。
検証①：意図的に誤情報を与えてみた場合
■ 検証目的
NotebookLM が、アップロードした資料による情報のみを情報源としているか確認すること。
これを確かめるために、あえて間違った情報を覚え込ませるという意地悪なデモをやってみました。
■ 検証方法
以下のような明らかな誤情報を含むテキストをソースとしてアップロードしてみました。
公式サイト(https://notebooklm.google.com/)にアクセスします。※googleアカウントがあれば、すぐに始められます
「新規作成」ボタンをクリック
ソースを追加という画面が出るので、分析したい資料や情報をアップロードします。
NotebookLMでは、Googleドキュメント、Googleスライド、PDF、テキストファイル、ウェブサイトURL、Youtube URLなど、様々な形式のファイルを「ソース」としてノートブックに追加できます。
今回は、以下のようにテキストを貼り付けます。
現在の日本の総理大臣について
この状態で、「日本の現在の総理大臣は？」と質問を投げてみます。
■ 検証結果
NotebookLMは次のように回答しました。
ご提供いただいた資料によると、現在の日本の総理大臣はドナルド・トランプです。
下記画像の「１」と書いてある箇所をクリックすると、参照元として先ほど入力したテキストが表示されていることがわかります。
アップロードした資料のみを参照し、一般的な情報で勝手に補正していません。一般知識を参照せず、アップロードした資料の内容をそのまま参照して回答していることがわかります。
ただし、次のように、資料外情報として補足がありました。
インプットした情報源が一般的な事実とは大きく異なり、公式な情報を別途参照することを奨めています。
■ 検証まとめ
NotebookLM が、アップロードした資料による情報のみを参照し回答していることがわかりました。
また、インプットした情報源の確かさに関して、補足として一般的な事実に基づいて、誤った情報である可能性を指摘しています。
NotebookLMは、情報源を限定できるという機能から、ミーティングの議事録の要約などで使われるケースが多いのですが、上記機能は、例えばミーティングの議事録の決定事項が一般的な事実やお作法から著しくかけ離れているといったことを指摘してくれる可能性があり、有用なケースがあるかもしれません。
NotebookLMが提供した資料にない情報にどう応えるか検証
NotebookLMのもう一つの特徴は、資料に記載されていない内容について 一般的な情報による推測で補完しない点です。資料にない情報に関する質問に対し、どう回答するか検証しました。
検証②：資料にない情報を質問した場合の動作を検証
■ 検証目的
NotebookLM が、資料に存在しない情報を推測で補完しないかを確認すること。
■ 検証方法
先ほどの「トランプ氏が日本の首相」という資料ソースを入れた状態で、あえて「アメリカの総理大臣（大統領）は誰ですか？」と質問してみました。
■ 検証結果
NotebookLM は次のように回答しました。
ご提供いただいた資料の中には、アメリカの大統領(あるいは質問にある「アメリカの総理大臣」)が誰であるかについて直接的な記述はありません
一般的な生成AIが、ネット上に広がっている一般知識を拾ってきて回答するのに対し、NotebookLMは、「資料には、質問に関する情報がない」という回答をしました。
またこの回答にも、以下のように「資料に含まれていない情報に基づく補足」がありました。
- アメリカ合衆国に「総理大臣」という役職はない
- アメリカ合衆国では政府の長は「大統領」と呼ばれる
- 現実世界では(2024年10月時点)ではアメリカアメリカ合衆国大統領はジョー・バイデン
- ドナルド・トランプは第４５代大統領を務めた政治家
など、情報源の記述は一般的な事実とは異なるため、正確な情報を把握する際には公式な記録などで確認することを推奨しています。
■ 検証まとめ
NotebookLM は、アップロードした情報源以外の資料や一般的知識などに基づく推測 を行わないことが確認できました。
NotebookLMは入力情報の正確性を確認することができるのか検証
NotebookLMは、提供された情報源のみを参照すると同時に、その資料自体が信頼できるかも評価しています。
今回検証に使用した誤った情報ソース(「日本の総理大臣はドナルド・トランプ」)について、NotebookLMは以下のように、間違いの可能性を指摘してくれました。
なぜその指摘をしたのか検証するため、資料の内容が信頼できる情報源とできるか質問してみました。
■ 検証：資料の信頼性を質問
「この資料は信頼できる情報源か」と尋ねたところ、NotebookLMは以下のように回答しました。
■ 結果
結果、NotebookLMは、入力情報が間違いである可能性を指摘しました。
■ 考察
NotebookLMは、 資料外の「一般的的事実」を参照し、背景や根拠や出典も確認し、資料そのものの信頼性も評価することを示しました。
これはNotebookLMの良い点でもあり、悪い点でもあると考えます。
確かに、入力情報の信頼性を評価してくれるという点は、世間的に誤った結論へ導かれるリスクを低減してくれるのですが、一方で、入力情報しか参照しないというNotebookLMの機能からは逸脱した挙動でもあります。
もし、入力情報以外も参照するのであれば、それはそもそもgeminiやChatGPTを使えばよいのであり、NotebookLMを使う必要性はありません。
世間の一般常識やWEBの知識の方が間違っていることもありえなくはないので、ここは何があろうと入力情報のみを参照するという機能であってほしかったと、筆者は感じます。
音声要約機能「Audio Overview」の実用性も検証
NotebookLMの機能として、とても実用性が高いと感じられた音声解説機能（Audio Overview）の検証結果も合わせて紹介します。
音声解説機能は、ユーザーがアップロードした資料を基に、二人の話し手による対話形式の解説音声を自動生成する機能で、従来の機械的な読み上げとは一線を画す自然な音声体験を提供します。
今回の検証では、ウェブ上で公開されている長文の議事録をPDF化し、この機能に読み込ませて音声解説を生成しました。
■ 検証：長文議事録を音声化
PDF化したウェブ上に合った以下の議事録をアップロードし音声化してみました。
音声解説をクリックすると、音声データが生成されます
■ 結果：実際の実用性が高い使用感を確認
生成された音声は、単なるテキスト読み上げではなく、ポッドキャストに近いテンポの良い対話形式で構成されていました。内容の要点を抽出しつつ、専門用語を平易な表現に置き換えて説明するなど、情報理解を支援する工夫が随所に見られ、特に以下の点で高い有用性を確認できました。
- 要点を簡潔化し、長文資料の読解時間を大幅に短縮
15分程度の資料でも、約5分の音声で主要ポイントを把握できます。
- 移動中の情報キャッチアップに最適
スマートフォンで再生できるため、満員電車など手が使えない状況でも耳から効率的に情報を取得できます。
- 専門性の高い文書にも対応
議事録のように専門用語が多い文書でも、文脈を踏まえた自然な言い換えで理解をサポートしてくれます。
■ 考察
NotebookLMの音声解説機能は、従来のテキストを読み上げただけの機械的な音声変換でなく、ポットキャストに近い会話形式でわかりやすくい、要点を簡潔に整理、専門用語も自然な言い言い換えするなど実用性が高い機能だと感じられました。
通勤など移動中のインプット、長文資料の要点の整理、社内連絡書や会議資料の概要を把握する、マニュアルや規定集など、様々な用途に利用可能だと思われます。
まとめ
入力情報のみを参照することで、ハルシネーション等のリスクを起こしにくいと言われているNotebookLMを実際に使ってみて、その機能を検証見ました。
まず、あえて誤情報を入力させたNotebookLMは、きちんと誤情報をもとに回答をしてくれました。
次に、入力情報にはないが、とても一般的な質問をしたところ、わからないという回答を得られました。
また上記の回答には、誤情報である可能性があるという補足があり、ユーザーが一般常識等から逸脱しないようにする配慮が為されていました。
次に、参照元自体が正確かどうか質問してみたところ、入力情報外からその正確性について回答してくれました。
これはNotebookLMの入力情報のみを参照するという機能からは逸脱しており、有用である一方、NotebookLMならではの価値を減らしてしまうものであると感じました。
また、NotebookLMの音声解説機能についても試してみましたが、こちらは情報のキャッチアップに非常に有用な機能だと感じました。
NotebookLMが是非気になったという方は、この記事を参考に是非使ってみて下さい。
