原文

1millionbot Millieチャットボットにおけるプロンプトインジェクションの脆弱性です。これは、ユーザーがブール型プロンプトインジェクション技術を用いてチャット制限を回避し、肯定的な回答（「true」）を得ることでモデルに注入された命令を実行させ、不正な情報や本来の文脈外の情報を返す問題です。この脆弱性が悪用されると、悪意のある遠隔攻撃者がサービスを本来の目的とは異なる用途で悪用したり、1millionbotのリソースやOpenAIのAPIキーを使って文脈外のタスクを実行したりする可能性があります。これにより、LLMモデルの訓練時に実装された制御メカニズムを回避し、元々制限されていた応答やチャット挙動を取得することが可能になります。