AI / AI-05
AIシステムのセキュリティテストと検証
モデル、データ、コネクター、ポリシー、ツール、ユーザーを含む完全なAIアプリケーションを評価します。テストでは、情報漏洩、システムが受信した悪意のある指示、および可能なアクションの制限を検証します。.
役立つとき
的確な回答
定義されたニーズに対して.
導入準備完了のアシスタント、新しいセキュリティー対応コネクター、アクション対応のエージェント、またはコンテンツフィルター以上のセキュリティ対策を求めるお客様。.
適用範囲と成果物
このエンゲージメントの対象範囲.
スコープ
- 承認された虐待の事例
- 合成データセット
- 権限
- 迅速な注射
- 取得したデータ
- ツールアクション
- プライバシー
- 堅牢性
- コスト
- 再現性と回帰テスト
成果物
- テスト計画
- シナリオ
- 消毒された証拠
- 可能な限り再現可能な結果
- コンテクストによる厳しさ
- 修復
- 統計的限界と再テスト計画
検収証拠
シナリオとバージョンが文書化されています。機密性の高いテストにより実データが不要になるようにしています。結果により確認された欠陥と再現されていない動作を区別します。修正は合意されたセットと比較して検証されます。.
配達
仕事の進め方.
アプローチ
ユースケースの選定、データとアクセスの分類、設計とパイロットの実施、プライバシー・アクション・コストのテスト、ロールアウトとモニタリングの決定。.
前提条件と責任
顧客：ビジネススポンサー、データオーナー、IDチーム、必要に応じてDPO／法務部門、および予算。プロバイダー：アーキテクチャとテスト。顧客は機密性の高い利用に対する承認を保持します。.
スコープ要因
用途、ユーザー、モデル、データ、コネクタ、権限、アクション、ボリューム、ホスティング。プロジェクト、ライセンス、トークン、検索、ストレージ、オペレーションを分離。測定に基づかないコスト削減の主張は禁止。.
確認のための質問
どのデータやアクションが禁止されていますか？テストは隔離された環境を使用できますか？成功はどのように測定され、モデルの変更後にテストは繰り返されますか？
重要な境界線
テストの実施形態やバージョンによって行動は異なる場合があります。テストスコアは認証ではありません。テストは許可を尊重し、対象外のサードパーティシステムは排除しなければなりません。.
権限、プロバイダーのデータ使用、保持、居住性、およびコストの適用は個別に評価されます。技術的機能および該当する義務は、選択された提供内容とユースケースについて確認されます。.
実際には
具体例.
これらの例は、想定される関与と目標とする成果について説明したものであり、顧客の事例や達成された実績ではありません。.
シナリオ01
アシスタントはサードパーティのドキュメントを要約します。 プロジェクト：コンテンツが制限を無視したり、情報を明らかにしたりできるかどうかをテストします。 ターゲットアウトカム：代表的なケースで確認された欠陥や制御が特定され、普遍的な保護の要求は認められません。.
シナリオ 02
エージェントはチケットを作成し、メッセージを送信できます。 プロジェクト：受信者、コンテンツ、および人的承認を確認します。 ターゲットの成果：テストで禁止されたアクションは拒否され、制御不能な挙動はスコープの縮小につながります。.
技術と参照コンテキスト
参考文献：OWASP GenAIとNIST GenAIプロファイル；システムに適した評価ツール、バージョン化されたテストセット、合成データ。.
最終的なテクノロジーセットは、相互運用性、ライセンス、アクセス権、および運用要件に基づき、スコープ設定の段階で合意されます。.
コネクテッドサービス
次のステップを構築する。.
これらのサービスはエンゲージメントを補完するものであり、自動的には含まれません。.
会話を始めましょう。
スコープを明確にする。.
このサービスの目的、依存関係、および責任範囲を明確にした上で、納品を提案いたします。.