生成AIのサービスや機械学習のモデルを業務に使う会社が増え、内部監査の計画にもAIの利用が対象として加わるようになりました。しかし、AIシステムの構成と、誤った出力や情報の漏えいが生じうる箇所を理解していなければ、監査が規程の有無の確認にとどまりやすく、利用の実態に即した評価が難しくなります。こうした場合に、内部監査部門が監査の主体として、専門の知見を持つ外部の者と分担して監査を行う形態は、コソーシングと呼ばれます。

コソーシングは、内部監査の業務を全面的に外部に委託する形態(アウトソーシング)とは異なります。監査の計画、結論、報告には内部監査部門が責任を持ち、外部の者は合意した範囲の手続きを担います。そのため、どの手続きを誰が担うか、内部監査部門が結論を出すために何を引き継ぐかを、監査の開始前に定める必要があります。

コソーシングが適する状況と適さない状況

次のような場合には、コソーシングが有効です。

  • AIの利用を初めて監査の対象とする場合監査の範囲や評価の基準が定まっていない段階で、内部監査部門と共同で、監査の範囲、評価の基準、手続きを設計します。
  • AIシステムの技術的な確認が必要な場合社内で構築したRAGシステムや機械学習のモデルについて、構成や設定、品質管理の手順を確認する必要がある場合です。
  • 次回以降は内部監査部門が自ら監査を行いたい場合一度目の監査を分担して行い、監査の手続きと判断の例を、内部監査部門に引き継ぎます。

AIの利用に関する規程や台帳がまだない場合も、利用の実態やリスクの管理の状況を評価し、管理の体制を整えるうえでの課題を示すことができます。ただし、管理の体制を整えること自体が目的の場合は、監査ではなく規程や体制の整備の支援をご提案します。また、当社が構築に関わったシステムや整備に関わった規程が監査の対象に含まれる場合は、監査の客観性を保つため、その部分を当社の担当から外すなど、分担を見直します。

監査の設計

監査の対象の範囲

AIは、情報システムの部門が管理するシステムの外でも利用されています。監査の範囲を定めるために、最初に社内のAIの利用を、たとえば次のように分けて把握します。

  • 会社が契約した生成AIのサービス全社や部署で契約している文章の作成や要約のためのサービス
  • 社内で構築したAIシステム社内の文書を検索して回答するRAGシステム、需要予測などに使う機械学習モデル
  • 業務システムに組み込まれたAIの機能既存の業務システムやクラウドのサービスに追加されたAIの機能
  • 従業員が個人で利用しているサービス会社の承認を得ずに業務に使われているサービス

AIの利用を一覧にした台帳が社内にあれば、それを出発点とします。台帳がない場合や、台帳に載っていない利用がある場合は、部署への聞き取りやアンケートで実態を把握します。そのうえで、台帳の網羅性や利用の管理に問題がないかを評価し、必要に応じて発見事項とします。

評価の基準

監査では、何を基準に評価するかを、監査の開始前に内部監査部門と合意します。基準には、社内のAIの利用規程、情報セキュリティ規程、個人情報の取扱規程など、会社が自ら定めた規程のほか、個人情報保護法などの法令や、利用しているサービスの契約の条件を用います。社内の規程に定めがない事項については、総務省と経済産業省のAI事業者ガイドラインなど、外部の指針を参考に基準を定めます。外部の指針を参考にする場合も、会社の事業とAIの利用の実態に照らして、どの項目を基準とするかを選びます。

監査の観点

AIの利用に関する監査では、主に次の観点で評価します。

  • 台帳と承認の手続きAIの利用の台帳が整備され、管理の責任者と、新しい利用を始めるときの承認の手続きが定められ、実際に運用されているか
  • 規程と利用の実態の整合入力が認められていない情報の入力を防ぐ設定や手続きが運用されているか、利用しているサービスの設定と契約の条件が規程の定めと合っているか、生成物を業務に使う前の確認が規程どおりに行われているか
  • AIシステムの品質管理社内で構築したシステムについて、導入前の評価、変更の管理、運用中の精度の監視の手順が定められ、記録が残っているか
  • 記録と報告利用者、日時、設定の変更の履歴など、リスクに応じて必要な記録が保存され、誤った出力の業務での利用や、機密情報の不適切な入力が発生した場合の報告と対応の手続きが定められているか

当社では、規程や手順書を確認するだけでなく、サービスの管理画面の設定、システムの構成、評価や監視の記録を直接確認し、規程の定めと実際の運用が一致しているかを評価します。社内で構築したRAGシステムであれば、利用者の権限に応じて検索の対象が制限されているかを、設定に加えて、権限の異なる利用者として質問したときの検索の結果と回答で確認することもあります。

分担と知見の移転

通常は、監査の計画と結論の決定、関係部署との調整、報告を内部監査部門が担い、サービスの設定やシステムの構成の確認、品質管理の手順の評価など、技術的な知見を要する手続きを当社が担います。

監査の調書は、内部監査部門の様式で作成します。あわせて、次回以降に内部監査部門が自ら実施できる範囲を広げられるよう、当社が担った手続きについて、何を、どの資料で、どのように確認したかを手順書にまとめます。

進め方

1. 監査の目的と分担の整理

内部監査部門と、監査の目的、対象の範囲の見込み、内部監査部門と当社の分担を整理します。

2. AIの利用の実態の把握

AIの利用の台帳、関係する規程、サービスの契約や利用条件などの資料を確認し、部署への聞き取りを行って、社内のAIの利用実態を把握します。

3. リスクの評価と監査の手続きの立案

把握したAIの利用ごとに、扱う情報の重要度、業務や顧客への影響の大きさ、利用の規模などからリスクを評価し、重点的に監査する対象を選定します。そのうえで、監査の範囲、評価の基準、対象ごとの手続きを具体化し、監査の計画書にまとめます。

4. 監査の実施

資料の閲覧、関係者への聞き取り、サービスの設定やシステムの構成の確認、記録の確認によって、監査の手続きを実施し、調書に記録します。

5. 発見事項の整理と報告

発見事項を、評価の基準と実態の差異、その原因、リスクの大きさとともに整理し、改善の提言をまとめます。内部監査部門が作成する監査の報告書について、当社が担った手続きに関する部分の原案を作成します。

6. フォローアップ

改善の状況は内部監査部門が確認し、技術的な確認を要する部分は当社が支援します。その結果は、次回の監査の計画に反映します。AIのサービスは機能や利用の条件が頻繁に変わるため、監査の範囲と評価の基準も、監査のたびに見直します。

ご依頼時にご用意いただく資料

監査には、主に次のような資料を用います。すべてが揃っていない場合も、お手元の資料の状況を伺ったうえで、監査の範囲と手続きを検討します。

  • 内部監査の規程と、当期の監査の計画
  • AIの利用規程、情報セキュリティ規程、個人情報の取扱規程など、評価の基準となる規程
  • AIの利用の台帳と、利用しているサービスの契約や利用条件

サービスの設定やシステムの構成の確認を当社が担う場合は、管理画面や記録の閲覧の方法(読み取り専用の権限、画面の共有など)についてご相談します。

成果物

ご依頼の範囲に応じて、主に次のような成果物をご提出します。

  • 監査の計画書監査の目的、対象の範囲、評価の基準、手続き、分担をまとめたもの
  • AIの利用の一覧社内で把握したAIの利用と、それぞれのリスクの評価
  • 監査の調書当社が担った手続きと、その結果の記録
  • 監査の報告書の原案当社が担った手続きに関する発見事項と、改善の提言
  • 監査の手順書当社が担った手続きについて、何を、どの資料で、どのように確認したかを記載したもの

期間と費用の決定要因

期間と費用は、監査の対象の範囲と、当社が担う手続きの量によって大きく変わるため、ご相談の際に対象の範囲を伺い、個別にお見積もりします。期間と費用を左右する主な要素は次のとおりです。

  • 監査の対象とするAIの利用の数と、社内で構築したシステムを含むかどうか
  • AIの利用の台帳や規程が整備されているかどうか
  • 聞き取りの対象とする部署の数
  • 当社が担う手続きの範囲(技術的な確認のみか、計画や報告の原案の作成までを含むか)
  • 次回以降に向けた手順書の作成や、内部監査部門への説明を含めるかどうか