AIに「この補助制度の締め切りはいつ？」と聞くと、日付がすぐに返ってきます。書き方は丁寧で、理由まで添えてあります。困るのは、その日付が去年のものだったり、別の制度と混ざっていたりしても、答えの見た目がまったく変わらないことです。
生成AIは、質問に続く言葉としてもっともらしいものを組み立てて答えます。調べた結果をそのまま返す検索とは仕組みが違うので、知らないことを知らないとは言わずに、それらしい答えを作ってしまうことがあります。答えの丁寧さと正しさは、別々に見る必要があります。
それでも、使うのをやめる必要はありません。間違える前提で、どこを・誰が・どこまで確かめるかを先に決めておけば、仕事の道具として十分に回ります。ここでは、その決め方を順に書きます。
間違いやすい質問の種類
AIの答えがすべて同じように間違うわけではありません。次のような質問は外れやすく、答えをそのまま使うのが危ない側です。
- 人名・社名・商品名・住所などの固有名詞
- 日付、期限、金額、料率などの数字
- 法令や制度の細かい条件（対象になる人、上限、例外）
- 自社の規程、取引先との約束、過去のやり取りなど社内にしか無い情報
- ここ数か月の出来事や、最近変わった仕組み
どれも、答えが一つに決まっているのに、AIの手元にその答えが無いかもしれない質問です。AIが学んだ時点より後に変わった制度や、公開されていない社内の事情は、そもそも知りようがありません。それでも質問されれば文章は組み立てられるので、それらしい数字や名前が入ります。
逆に、外れても被害が小さい質問もあります。メールの言い回しを柔らかくしてほしい、会議で話す順番を整理してほしい、新商品の名前の候補をいくつか出してほしい。こうした頼み方は、答えが正しいか間違っているかより、使えるかどうかで判断するものです。ここまで神経質に確かめる必要はありません。
出典を出させる頼み方
外れやすい質問をする時は、答えと一緒に根拠の場所を出してもらいます。たとえば「回答の根拠になった資料名とURL、該当する見出しか条文番号を、答えの後ろに一行ずつ書いてください。根拠が見つからない部分は、推測だと明記してください」と頼みます。
大事なのは最後の一文です。推測なら推測と書いてよい、と言っておかないと、AIは答えを埋めようとします。Web検索の機能を持つサービスなら、検索した上で答えるよう頼みます。検索したページを示してもらえるので、確かめに行く先がはっきりします。
ただし、出典が付いたから安心とはいきません。示されたURLが存在しない、ページはあるのに書いてある内容が違う、古い版の資料を指している。どれも起こります。出典は、人が確かめに行く場所を教えてもらうためのものです。答えの正しさの保証にはなりません。
AI自身に疑わせる聞き方
元資料を開く前に、AIにもう一度自分の答えを見直させると、怪しい箇所の見当がつきます。答えが出た後に「今の回答のうち、確かな根拠がある部分と、推測や記憶に頼っている部分を分けて示してください。数字と日付と固有名詞は、一つずつ根拠の有無を書いてください」と続けて頼みます。
こう聞くと、最初の答えでは言い切っていた部分に、実は根拠が無かったと返ってくることがあります。同じ質問を新しい会話で聞き直す方法もあります。二回の答えで数字や名前が食い違ったら、少なくともどちらかは外れています。その箇所を、元資料で確かめる候補の一番上に置きます。
とはいえ、これはあくまで当たりをつける作業です。AIが根拠ありと書いた部分が正しいとは限りませんし、二回とも同じ間違いをすることもあります。人が元資料を確かめる手間を省く理由にはならないので、確かめる順番を決めるための下見と考えてください。
元資料との突き合わせ
地味な作業ですが、AIが示した資料を自分で開き、該当箇所を読んで、答えと同じことが書いてあるかを見るしかありません。
慣れないうちにやりがちなのが、AIの答えを読んでから資料を流し読みして、合っている気になることです。先に答えを読むと、資料の中から同じ言葉を探す読み方になり、違う部分を見落とします。数字や日付は、資料の側から先に拾って、あとで答えと並べる順番にすると見落としが減ります。
突き合わせる資料は、できるだけ一次情報にします。制度なら所管する役所のページ、商品の仕様ならメーカーの公式ページ、社内の話なら規程の原本や契約書です。まとめ記事やSNSの投稿は、それ自体が古かったり間違っていたりするので、突き合わせの相手としては弱いと考えています。
社内情報は、AIに渡した資料が最新かどうかも見ておきます。去年の料金表を読ませて質問すれば、AIは去年の料金で正しく答えます。この場合の間違いは、AIではなく渡した側にあります。
最後に確かめる人を決める
確かめ方を決めても、誰がやるかが決まっていないと、たいてい誰もやりません。AIを使った本人は自分の作業を見直したつもりになり、受け取った人はAIを使った人が確かめたと思い込みます。
そこで、用途ごとに最後に確かめる人を一人決めておきます。たとえば次のような分け方です。
- お客様に出す見積や案内文は、その案件の担当者
- 制度や法令に関わる社内向けの説明は、総務や経理の責任者
- 取引先との契約や約束に関わる物は、決裁する人
できれば、AIを使った人と確かめる人は分けます。一人の会社や少人数の部署で分けられない時は、時間を置いてから見直すだけでも違います。書いた直後の自分は、自分の文章の間違いに一番気づきにくいからです。
確かめた記録も簡単に残しておくと後で助かります。見積書なら、元にした料金表の版と確かめた人の名前を一行書いておく程度で構いません。何か食い違いが見つかった時に、どこで入った間違いかをたどれます。
確かめる手間の配分
全部の答えを同じ厚さで確かめていたら、AIを使う意味がなくなります。手間をかける場所と、かけない場所を分けておきます。
手厚く確かめるのは、社外に出る物、お金や契約に関わる物、一度出したら取り消しにくい物です。ここは出典の確認と元資料との突き合わせを省きません。
軽く見るだけでよいのは、社内のメモ、下書きの言い回し、考えを整理するための壁打ちです。ここで毎回資料を開いていたら続きません。読み返して明らかにおかしい所が無ければ使ってよい、くらいの扱いで回ります。
この配分を紙一枚にまとめて社内で共有しておくと、使う人が毎回迷わずに済みます。生成AIの使い方を社内で決める時は、入力してはいけない情報のルールと並べて、この確かめ方の決まりも入れておくと抜けが減ります。社内ルールの作り方は生成AIの社内ルールの作り方で詳しく書いています。
最初の一週間でやること
いきなり全社の決まりを作るより、まずは一週間、AIに聞いた質問のうち外れやすい種類に当たるものだけ、元資料と突き合わせてみてください。どの種類の質問でどれくらい外れたかが、自分たちの仕事に合った確かめ方を決める一番の材料になります。
記録は凝らなくて構いません。表計算ソフトに、聞いた日、質問、AIの答え、元資料に書いてあったこと、合っていたかどうか、の列を作って一行ずつ足していくだけで、一週間後には自分の会社でAIが外しやすい質問の癖が見えてきます。外れが多い種類が分かれば、そこだけ確かめ方を厚くすればよいのです。少なければ、少し肩の力を抜いてもいい。
その結果を見て、確かめる人と確かめる範囲を決めれば、AIに任せてよい範囲も自然に見えてきます。
