【2026年最新】AIが書いた文章の「透かし」の仕組みと限界|「この文章、AIが書いたと見抜けるの?」を解く

【2026年最新】AIが書いた文章の「透かし」の仕組みと限界|「この文章、AIが書いたと見抜けるの?」を解く AIセキュリティ

2026年8月、Anthropic が、Claude の書いた文章に目に見えない「透かし(電子透かし、ウォーターマーク)」を入れていると明らかにしました。EU の AI 法(AI Act)で、AI が生成したコンテンツに機械で読める印を付ける義務が2026年8月2日から適用されたことへの対応です。Google は2024年から Gemini の文章に透かしを入れており、OpenAI も2026年10月に、API での任意の透かしを始め、続いて EU の ChatGPT と Codex にも入れると発表しました。

ディープフェイク音声・動画の詐欺の記事では、人の耳に頼らない確かめ方のひとつとして電子透かしに触れ、生成AIで巧妙になるフィッシングの記事では、AI が書いた自然な日本語の詐欺メールを扱いました。この記事では、その「文章の透かし」を掘り下げます。何が発表されたのか、論文ではどんな仕組みが提案されてきたのか、そして消す・偽る・誤って疑われる、というセキュリティ上の論点を、公式の資料と論文に書かれている範囲で整理し、公開されている SynthID-Text の実装で、日本語の文章に入れた透かしがどこまで残るかも試しました(2026年10月19日時点。試したのは小さな公開モデルでの再現で、Claude の透かしそのものではありません)。結論を先に言うと、文章の透かしは、AI が次の語を選ぶときの「くじ引き」に鍵付きの偏りを仕込み、あとから統計の検定で「この鍵で書かれた可能性が高いか」を判定する技術。長い文章ほど判定しやすい一方、言い換えや翻訳で薄まり、透かしの規則を外から推定されれば偽装もされうる。判定でわかるのは「その会社の AI が書くか手を加えた可能性」までで、「この人が自分で書いていない」証明にはならない、というのが基本です!

  1. 何が起きたか:Claude の文章に見えない透かし
    1. Anthropic の発表と、その理由
    2. 対象と、判定の窓口
    3. Anthropic 自身が書いている限界
    4. 情報源で食い違う点
    5. 他社の状況:Google と OpenAI
  2. 仕組み:語の選び方に「鍵付きの偏り」を仕込み、確率で判定する
    1. 前提:AI は毎回「くじ引き」で次の語を選んでいる
    2. 方式1:語を「緑」と「赤」に分ける(Kirchenbauer ほか、2023年)
    3. 方式2:くじの乱数そのものを鍵で決める(Aaronson、Kuditipudi ほか)
    4. 方式3:トーナメントで勝ち残った語を選ぶ(SynthID-Text、2024年)
    5. Claude の方式との対応
  3. セキュリティ面:消す・偽る・誤って疑われる
    1. 消す:言い換え・翻訳・同義語の置き換え
    2. 偽る:透かしを盗んで、他人の文章に付ける
    3. 誤って疑われる:透かしと「AI 文章検出器」は別物
  4. いま誰が、何を判定できるか
  5. 手元で試してみた:日本語の文章で、透かしはどこまで残るか
    1. 試した条件
    2. 結果:加工しだいで、残り方が大きく変わる
    3. 結果から読み取れること
    4. この実験でわからないこと
  6. 安全に使うために:確かめたい6つの点
    1. 使う側・判定結果を受け取る側が確かめること
    2. 作る側(AI を使ったサービスを提供する側)が確かめること
  7. AI が書いた文章の透かしを理解する鍵は次の3点です
  8. まとめ:透かしは「関わった可能性」の信号として扱おう!
  9. あわせて読みたい
  10. 参考文献

何が起きたか:Claude の文章に見えない透かし

Anthropic の発表と、その理由

2026年8月11日、TechCrunch は、Anthropic が更新したサポート記事で、Claude を含む自社モデルの生成した文章に透かしを入れることを認めた、と報じました。Anthropic は8月14日に解説記事「How Claude’s text watermark works」を公開し、9月1日に判定 API の情報を更新しています。

理由について Anthropic は、EU の AI 法に従うためだと説明しています。AI 法第50条は、原則として、文章・画像・音声・動画を生成する AI システムの提供者に、出力を機械で読める形で印付けし、AI が生成したと検出できるようにすることを求めています(欧州委員会の Q&A は、ソースコードなどを対象外とし、標準的な編集の補助には義務が及ばないと説明しています)。欧州委員会によれば、この義務は2026年8月2日から適用されました(8月2日より前に市場に出たシステムの印付けには限定的な猶予が想定されていて、欧州委員会の Q&A は2026年12月2日から守ればよいとしています)。義務の守り方を具体的に示した「AI が生成したコンテンツの透明性に関する行動規範(Code of Practice)」には、7月末までに約190の組織が署名し、欧州委員会は Anthropic、Google、Meta、Microsoft、Mistral、OpenAI などを例に挙げています。署名は任意ですが、第50条の義務そのものは法的な義務です。

対象と、判定の窓口

Anthropic のサポート記事と解説記事に書かれている範囲は次のとおりです(2026年10月13日に確認)。

項目公式資料の記載
対象の製品API、Claude のアプリ、Claude Code、Claude Cowork、Claude Tag。透かしはモデルの段階で入るので、対応モデルの生成文には、どの製品から出ても入る(製品や機能によっては一部の印付けに対応しない、との注記あり)
クラウド経由AWS、Google Cloud、Microsoft Foundry 経由でも、対応モデルの文章には透かしが入る
地域世界中。地域で分ける確かな方法がまだないため、まずは全世界に適用すると説明
対応モデル2026年8月2日以降に出たモデルは最初から対応。それより前のモデルにも順次追加中
判定判定 API を限定公開中。対象は EU 法の求める規制当局、法執行機関、報道機関、ファクトチェッカー、独立した研究者、教育機関、EU の市民団体と、同じく確認の義務がある企業
ファイル対応する形式(PNG・JPEG など)のファイルには、透かしではなく C2PA という規格の署名付きの来歴情報(Content Credentials)を付ける。誰でも使える確認ツールはファイル用で、文章は調べられない

2026年9月1日の API のリリースノートには、Claude Fable 5.1 と Claude Mythos 5.1 の生成文に透かしが入ること、利用者がリクエストや応答の処理を変える必要はないことが書かれています。

透かしそのものについて、Anthropic は、文章に何かを足すわけではなく隠し文字もない、トークンが増えないので料金も変わらない、利用者や組織、会話を特定する情報は含まない、社内の試験で文章の内容・創造性・読みやすさへの影響は見られなかった、と説明しています。

Anthropic 自身が書いている限界

公式の資料は、透かしでわかることの範囲を、かなりはっきり限定しています。

  • 鍵を使って答えられるのは「この文章の一部を Claude が書いた可能性はどれくらいか」だけ。人が書いたことの確認にはならず、他社の AI が書いたかもわからない
  • 短い文章では判定しにくい。事実を答える文章や、文法だけを直す校正のように、語の選び方に自由が少ない場面では透かしが薄くなる。コードも透かしは少なめ
  • Claude が翻訳した文章には透かしが入る(すべての語を Claude が選ぶため)。要約や校正に使っただけでも印が付きうるので、検出されても Claude が元の書き手とは限らない
  • 少し手を加えた程度ではおそらく完全には消えないが、すべての語を置き換えるような書き直しでは消える
  • 検出されないことは、AI が書いていない証拠にならない(透かしに対応する前のモデル、大きく編集・言い換え・翻訳した文章、とても短い文章など)

情報源で食い違う点

  • 日付: 8月11日の報道は、更新されたサポート記事を根拠にしています(サポート記事の更新日そのものは確認できませんでした)。Anthropic の解説記事は8月14日公開・9月1日更新で、出来事として別のものです
  • 対象モデル: 境界の日の書き方がそろっていません。TechCrunch と Anthropic の Fable 5.1 の発表文は「8月2日より後に出たモデル」、Fortune とサポート記事は「8月2日以降に出たモデル」と書いています。また報道は「8月2日以降のモデルから」という開始時の話が中心ですが、サポート記事は、それより前のモデルにも透かしを順次追加すると明記していて、モデル別の表(10月13日確認)では、Claude Fable 5.1・Fable 5・Mythos 5.1・Opus 5.5・Opus 5・Opus 4.8・Sonnet 5.5・Sonnet 5・Haiku 5.5 の文章に透かしが入るとされています。表に載っている Claude Mythos 5、Opus 4.7・4.6・4.5、Sonnet 4.6・4.5、Haiku 4.5 は、文章の透かしの欄が空いています。クラウド経由の欄も同じ9モデルに印があり、そのうち Fable 5・Opus 4.8・Sonnet 5 は Amazon Bedrock での展開が10月17日までに終わる予定、と注記されています。表は更新され続けているので、使うモデルについては最新の表を確かめるのが確実です

他社の状況:Google と OpenAI

Google DeepMind は2024年5月に、Gemini のアプリとウェブ版の文章に「SynthID」の透かしを広げると発表しました。仕組みは同年10月に Nature 誌の論文として公開され、論文は、その時点で Gemini と Gemini Advanced の応答に透かしが入っていると書いています。文章の透かしの実装は公開されており、Hugging Face の Transformers ライブラリでも使えます。2025年5月に発表した確認用のポータル「SynthID Detector」は、発表時には文章も対象に含め、文章と動画の検出は数週間のうちに提供すると注記していました。2026年10月に確認した DeepMind のページでは、誰でも確かめられる対象として画像・動画・音声が挙げられ、文章は挙げられていません(文章の検出をやめたのかどうかは、このページからはわかりません)。

OpenAI は2024年8月の時点で、文章の透かしの方式を開発したものの公開を見送っていると説明していました。言い換えのような局所的な改変には強い一方、翻訳や別の生成モデルによる書き換え、単語ごとに特殊な文字を挟ませてから消すといった全体的な改変には弱く、悪意のある人には回避がたやすいこと、英語を母語としない人が AI を文章の道具として使うことへの偏見につながりかねないことを理由に挙げていました。その後、2026年10月5日に方針を発表し、その日から全世界の API 利用者が一部のモデルで透かしを選べるようにし(既定では無効)、続いて今後数週間で EU の ChatGPT と Codex の対象となる文章に透かしを入れること、判定ツールはまず審査を通った研究者と専門組織に限ることを明らかにしました。方式の名前は「textGrain」で、技術報告書も公開しています。全世界で既定にはしない、という点は Anthropic と対照的です。

仕組み:語の選び方に「鍵付きの偏り」を仕込み、確率で判定する

前提:AI は毎回「くじ引き」で次の語を選んでいる

ChatGPT や Claude のような大規模言語モデル(LLM)は、文章をトークン(単語や単語の一部)単位で前から1つずつ書きます。次のトークンの候補にはそれぞれ確率が付いていて、多くの場合、その確率に従った「くじ引き」で1つを選びます。1つずつ順番に書くこの作りが文章の生成を遅くする理由と、それを速くする工夫は、投機的デコーディングの記事で解説しています。Anthropic の解説記事の例では、「今日の天気は寒くて…」の次は「どんより」でも「灰色」でもほぼ同じ意味になり、どちらを選ぶかは乱数で決まります。

文章の透かしは、このくじ引きを利用します。くじの引き方に、鍵を知っている人だけが確かめられる偏りを仕込み、長い文章全体で「偶然では説明しにくいほど、鍵の規則に沿っている」かを統計で調べるのです。具体的な数え方は方式ごとに違います。

(直前の文脈と鍵から乱数を作る方式の概念図)
次の語を選ぶたびに:
  直前の数語 + 秘密の鍵  →  乱数の種
  乱数の種で「鍵が好む語」を決め、くじをそちらへ寄せる(または、くじの乱数そのものを鍵で決める)
あとで判定するとき:
  鍵から規則を再現し、文章の各位置の語がその規則に沿っているかを点数にする
  人が書いた文章なら点数は偶然の範囲 → 偶然では説明しにくいほど高ければ「透かしあり」と判定

方式1:語を「緑」と「赤」に分ける(Kirchenbauer ほか、2023年)

広く知られるきっかけになったのが、Kirchenbauer らの論文 A Watermark for Large Language Models(arXiv:2301.10226、2023年1月、ICML 2023)です。直前のトークンから計算したハッシュ値を乱数の種にして、語彙全体を「緑のリスト」と「赤のリスト」にランダムに分け、緑の語の確率を少し上げてから選びます。

判定では、緑の語がいくつあったかを数えます。人が書いた文章なら、緑の語は偶然の割合(緑のリストを半分にしたなら約半分)しか現れないはずです。論文は、緑の語の数が偶然からどれだけ外れているかを z 値で表し、たとえば z が4を超えたら透かしありとすると、それに対応する片側の p 値、つまり統計のモデルの上で人の文章を誤って透かしありとする確率は約3万分の1(3×10⁻⁵)だと示しています。ただし論文自身、同じ語の並びが何度も繰り返される人の文章は誤って検出されうるとして、繰り返しを数えない工夫も挙げています。実験では、緑のリストを語彙の半分、確率の上げ幅を一定にした条件で、OPT-1.3B というモデルに約200トークンの文章を書かせ、98.4%を検出できました。判定には元のモデルが要らず、鍵とハッシュの規則だけで済むのも特徴です。

一方、この方式は確率を少しゆがめます。「バラク」の次の「オバマ」のように、ほぼ1つに決まる箇所ではほとんど効かず、選択肢の多い箇所に透かしが乗る作りです。

方式2:くじの乱数そのものを鍵で決める(Aaronson、Kuditipudi ほか)

確率をゆがめない方式もあります。Scott Aaronson は、OpenAI に在籍していた2022年11月のブログで、次のトークンを本物の乱数ではなく、OpenAI だけが鍵を知る暗号的な擬似乱数で選ぶ方式を紹介しました。利用者には本物の乱数と見分けがつかないので文章の出方は変わらず、鍵を知る人だけがあとで偏りを計算できる、という考え方です。試作品では数百トークンあれば十分な信号が得られたと書く一方、別の AI で言い換えれば検出できないとも認めています。

Kuditipudi らの Robust Distortion-free Watermarks for Language Models(arXiv:2307.15593、2023年7月)は、鍵から作った乱数の列を使って出力を決め、判定では文章をその乱数の列と照らし合わせて並びを合わせます。一定の長さまでは出力の分布を変えない、としています。OPT-1.3B と LLaMA-7B では、トークンの40〜50%をランダムに置き換え・挿入・削除しても、35トークンから検出できたと報告しました(p 値0.01以下)。ただし指示に答える Alpaca-7B の応答(長さの中央値は約100トークン)では、答え方の幅が狭いため検出できたのは約25%にとどまり、自動の言い換えにも弱かったとしています。

方式3:トーナメントで勝ち残った語を選ぶ(SynthID-Text、2024年)

Google DeepMind の Dathathri らの Scalable watermarking for identifying large language model outputs(Nature、2024年10月)が提案した SynthID-Text は、実際のサービスで大規模に使われた最初の例です。直前の4トークンと鍵から乱数の種を作り、モデルの確率に従って候補を2の m 乗個引きます(m は層の数で、論文の実験ではおもに30層)。候補を2つずつ組にして、鍵で決まる点数(g 値)の高い方を勝ち残らせ、これを何層も繰り返して最後に残った1つを出力します。判定では、文章の各トークンの g 値の平均(またはベイズ推定の点数)を計算し、高ければ透かしありとします。設定次第で、出力の分布をゆがめない形にもできます。

論文は、Gemini の実際の利用で約2,000万件の応答を、透かしありと透かしなしに振り分けて比べ、「良い」評価と「悪い」評価の割合の差はそれぞれ0.01%と0.02%で、統計的に意味のある差はなかったと報告しています。投機的デコーディング(小さなモデルの下書きを大きなモデルがまとめて確かめる高速化の手法)と組み合わせる方法も示しました。投機的デコーディングの仕組みと、その速さの裏で情報が漏れうる点は、こちらの記事にまとめています。

2026年3月には、Omidi らが SynthID-Text の初の理論解析だとする論文(arXiv:2603.03410、査読前のプレプリント)を出しています。平均の点数で判定する場合、層を増やすと検出率がある所から下がることを証明しました。そのうえで、同じ入力から透かし入りの候補を多数集め、出てくる回数の少ない候補を優先する追加のトーナメントを自分で重ねて層を水増しする攻撃を作り、公開モデル3種の実験(攻撃前は検出できていた1,000例・追加10層・誤検知率1%の閾値)で、検出率を13〜16%まで下げられたと報告しました。Gemini や Claude の実サービスへの実証ではありません。ベイズ推定の点数ならこの弱点は避けられる、としています。

Claude の方式との対応

Anthropic は、Claude の透かしを「Google DeepMind が2024年に Nature で発表した SynthID-Text の方式の一種」と説明し、2022年の Aaronson の提案にさかのぼる、くじの乱数の出どころだけを変える系統に属するとしています。解説記事は、すごろくのサイコロの代わりに円周率の数字の並びを使う例えを出し、ゲームの結果には影響しないが、円周率を知っていればあとで「円周率で動いたゲームか」を確かめられる、と説明しています。

一方、層の数、判定に使う点数の種類、出力の分布をゆがめない設定かどうかといった具体的な設定は、筆者が確認した公式の資料には書かれていませんでした。サポート記事は、より詳しい技術的な説明を今後公開するとしています。

セキュリティ面:消す・偽る・誤って疑われる

消す:言い換え・翻訳・同義語の置き換え

透かしは語の選び方に乗っているので、語を大きく入れ替えれば薄まります。

  • 言い換えモデル: Krishna らの DIPPER(arXiv:2303.13408、NeurIPS 2023)は、110億パラメータの言い換えモデルで検出を試しました。GPT2-XL の文章を言い換えると、緑と赤の方式の検出率は100%から57.2%に、透かしではない検出器 DetectGPT は70.3%から4.6%に下がりました(誤検知率1%の条件)。一方で論文は、調べた検出器の中では透かしが最も言い換えに強かったとも書いています
  • 言い換えの繰り返し: Sadasivan らの Can AI-Generated Text be Reliably Detected?(arXiv:2303.11156、TMLR)は、OPT 系のモデルに緑と赤の方式の透かしを入れて試し、言い換えを何度も重ねる攻撃で、約300トークンの文章の検出率(誤検知率1%)を99.3%から9.7%まで下げました
  • 人の書き直しは意外と残る: 逆に Kirchenbauer らの続報(arXiv:2306.04634、ICLR 2024)は、経験のある14人の書き手が、透かし入りの Vicuna の応答を強く言い換えた実験で、元の文章の断片が残りやすく、誤検知率10万分の1の条件で、平均800トークンほど見れば検出できたと報告しています
  • SynthID-Text への試験: Han らの SynGuard の論文(arXiv:2508.20228、2025年8月、TrustCom 2025)は、公開されている SynthID-Text を小さな公開モデル(Sheared-LLaMA-1.3B・200トークンの文章各200本)で試し、同義語の置き換え、他の文章への貼り混ぜ、言い換え、別の言語を往復する翻訳で検出の精度(F1 値)が下がることを示しました。中国語を往復した翻訳では1.00から0.711に下がり、日本語の往復は試した言語の中で最も精度が残りました(0.819)。論文は、意味の情報を組み合わせて F1 値を平均11.1%改善する方式を提案しています
  • 提供元自身の数字: OpenAI は、自社の textGrain を英語の質問応答のデータで評価し、400トークンの文章で語の10%を同義語に置き換えると検出率が約92%から66%に、25%なら17%に下がったと公表しています

偽る:透かしを盗んで、他人の文章に付ける

透かしは「付いていれば、その会社の AI が書いた」という信号として使われます。だからこそ、鍵を持たない人が透かしをまねできれば、濡れ衣を着せる道具にもなります。

Jovanović らの Watermark Stealing in Large Language Models(arXiv:2402.19361、ICML 2024)は、透かし入りのモデルの API に問い合わせを重ね、透かしの規則をおおよそ逆算する「透かしの盗用」を自動化しました。ChatGPT の料金体系で1回限り50ドル未満の費用で、透かしを偽装する攻撃と除去する攻撃の両方が、平均80%を超える成功率で成り立ったと報告しています。論文は、偽装した透かし付きの有害な文章を大量に作れば、透かしを入れたモデルの持ち主に濡れ衣を着せられる、と指摘しています。Sadasivan らも、人が書いた文章を AI の生成と誤判定させる偽装の攻撃を示し、AI の開発元の評判を損ねうるとしています。

ただし、Jovanović らが主に対象にしたのは、緑と赤の方式のように確率をゆがめる系統です。論文は、確率をゆがめない方式は盗用に強い可能性がある一方、その性質は多くの場合、秘密の鍵について平均した期待値としてしか成り立たないため、現実との差を突く攻撃がありうる、と今後の課題にしています。SynthID-Text の Nature 論文自身も、盗用・偽装・除去への弱さを限界として挙げています。

誤って疑われる:透かしと「AI 文章検出器」は別物

「AI が書いたか判定する」と聞いて思い浮かぶものには、2種類あります。

文章の透かしAI 文章検出器
仕組み書くときに鍵付きの偏りを仕込み、鍵で確かめる書いたあとの文章の癖を、統計や学習したモデルで推測する
判定できる相手透かしを入れた会社の、対応するモデルだけどの AI か問わず推測を試みる
誤検知の扱い統計のモデルの上で、閾値から誤検知率を見積もれる(例:z>4 で約3万分の1)文章の種類や書き手によって大きく変わりうる

AI 文章検出器の誤判定は、すでに問題になっています。Liang らの GPT detectors are biased against non-native English writers(arXiv:2304.02819、Patterns 誌)は、広く使われる7つの検出器に、英語を母語としない人が書いた TOEFL のエッセイ91本を判定させました。米国の中学2年生のエッセイはほぼ正しく人と判定された一方、TOEFL のエッセイは平均61.22%が AI の生成と誤判定され、7つすべてが AI と判定したものが18本(19.78%)、少なくとも1つが AI と判定したものが89本(97.80%)ありました。語の選び方が限られる書き手ほど不利になる、と論文は見ています。

透かしは、この種の誤判定を減らせる可能性がありますが、別の形で人が疑われる余地は残ります。OpenAI は2024年の時点で、誤検知率が低くても大量の文章に当てはめれば、誤検知の総数は大きくなると書いていました。また Anthropic の説明どおり、Claude に翻訳や校正をさせた文章にも透かしは入りえます。自分で考えて書いた日本語を Claude で英訳した人の文章から透かしが出ても、それは「AI が手を加えた」ことしか意味しません。各社が判定の窓口を限っている理由のひとつも、ここにあります。

いま誰が、何を判定できるか

「この文章に透かしが入っているか」を確かめられる人は、いまのところかなり限られています。各社の公式の資料で確かめた範囲をまとめると、次のとおりです(2026年10月19日に確認)。

提供元文章に透かしが入る範囲文章を判定できる人誰でも使える確認ツール
Anthropic(Claude)対応モデルの生成文に、全世界で入る(それより前のモデルにも順次追加中)判定 API は限定公開(private preview)。Anthropic が挙げる対象は、EU 法に沿った規制当局・法執行機関・報道機関・ファクトチェッカー・独立した研究者・教育機関・EU の市民団体と、確認の義務がある企業が対象で、申し込みのフォームから関心を登録するClaude Content Checker はファイル(C2PA の来歴情報)用で、文章は調べられない
Google(Gemini)Gemini のアプリとウェブ版の文章に入る文章を判定する一般向けの窓口は、公式の資料では確認できなかったSynthID Detector を2026年10月7日に全員へ開放(全世界・英語)。対象は画像・動画・音声で、Google に加えて OpenAI・NVIDIA・Kakao の生成物も確かめられる(Apple は近日対応)。Gemini アプリでの確認も画像・動画・音声だけで、文章は対象外
OpenAI(ChatGPT ほか)API は一部のモデルで、利用者が選んだときだけ入る(既定は無効)。ChatGPT と Codex は、EU で入れる(10月5日の発表で「今後数週間のうちに」)判定ツールは、申し込んで承認された研究者と専門組織だけ。見逃しと誤検知のおそれがあるとして、一般には公開しない画像と音声を見分けるツールは公開済み。文章は対象外
公開されている実装(SynthID-Text)自分で決めた鍵で、自分の動かすモデルの文章に入れられる(Hugging Face の Transformers と、Google DeepMind の GitHub で公開)鍵と設定を知っている人だけ。各社の鍵と設定は公開されていないので、各社のサービスの透かしは判定できない―

つまり、手元の文章が Claude や ChatGPT、Gemini の透かし入りかどうかを、一般の人が自分で調べる方法は、2026年10月19日に各社の公式の資料を確かめた範囲では見つかりませんでした。誰でも使える確認ツールは、どれも画像・動画・音声や、ファイルの来歴情報が対象です。「AI の透かしで調べた」という結果を見せられたら、誰が、どの窓口で判定したのかを確かめましょう。

手元で試してみた:日本語の文章で、透かしはどこまで残るか

各社の判定の窓口は使えないので、公開されている SynthID-Text の実装を小さな公開モデルで動かし、自分で決めた鍵で日本語の文章に透かしを入れて、加工するとどこまで残るかを測りました。結論を先に言うと、手を加えなければ、約170字(100トークン)の短い文章でも、この実験では40本すべてで透かしを検出できました。校正だけなら、長い文章ほど残ります。一方、要約・言い換え・英語との往復翻訳では、長さ400トークン(約690字)でも、検出できたのは言い換えの12本中4本だけでした。

ただし、これは SynthID-Text の方式を小さなモデルで再現した結果で、Claude の透かしそのものではありません。Claude の透かしは SynthID-Text の方式の一種だと説明されていますが、層の数や判定に使う点数の種類などの設定は公表されておらず、モデルの大きさも違います。Claude が書いた文章を Anthropic の判定にかけることも、窓口が一般に開いていないため、していません。

試した条件

  • 透かしを入れたモデル: Qwen2.5-1.5B-Instruct(約15億パラメータの公開モデル)。Hugging Face の Transformers(4.57.6)に入っている SynthID-Text の実装を使い、層の数は論文のおもな設定と同じ30層、直前の4トークンと鍵から乱数の種を作る設定にしました。鍵は実験用に決めたものです
  • 文章: 「雨の日の楽しみ方」「読書を習慣にする方法」といった題で、日本語のやわらかいエッセイを書かせました(temperature 0.7 のサンプリング。上で説明した「くじ引き」をそのまま使い、top-k・top-p の絞り込みはなし)。透かしありを40本、比べるための透かしなしを24本、どれも400トークン書かせ、先頭の100・200・400トークン(日本語で約170字・340字・690字。64本の中央値)で切って調べました。モデルが小さいので、日本語には不自然な言い回しも混ざります
  • 加工: 透かしを入れたモデルとは別の日本語のモデル、sarashina2.2-3b-instruct(約30億パラメータ)に、校正(誤字脱字と不自然な言い回しだけを最小限に直す)・要約(半分くらいの長さに)・言い換え(別の言葉と言い回しで書き直す)・往復翻訳(英語に訳してから日本語に戻す)をさせました。透かしありの12本と透かしなしの4本を、それぞれ3つの長さで加工しています
  • 判定: 鍵から各トークンの g 値を計算し、層ごとに重みを付けた平均(公開実装の「weighted mean」)を z 値に直しました。統計のモデルの上では、透かしのない文章の z 値は平均0・標準偏差1の正規分布に従います。閾値は測る前に z>4 と決めました。透かしのない文章を誤って透かしありとする確率は、統計のモデルの上で約3万分の1(3.2×10⁻⁵)です。参考として、同じ統計のモデルで誤検知率1%にあたる z>2.33 での本数も併せて数えました
  • 計算: GPU のない CPU だけの計算機で、11スレッドに固定して動かしました。4本ずつまとめて書かせて、400トークンの文章1本あたり約1分かかりました

結果:加工しだいで、残り方が大きく変わる

この実験の判定(weighted mean の z 値)で z>4 を超えた本数と、かっこ内は z 値の中央値です。長さは、加工する前の文章のトークン数と字数です。各社の判定 API の結果ではありません。

文章100トークン(約170字)200トークン(約340字)400トークン(約690字)
透かしあり・加工なし40本中40本(7.5)40本中40本(11.2)40本中40本(15.8)
透かしあり→校正12本中4本(3.4)12本中8本(4.6)12本中11本(7.1)
透かしあり→要約12本中0本(0.5)12本中0本(0.6)12本中0本(0.9)
透かしあり→言い換え12本中0本(0.3)12本中0本(1.5)12本中4本(2.4)
透かしあり→往復翻訳12本中0本(0.4)12本中0本(0.3)12本中0本(0.2)
透かしなし・加工なし24本中0本(0.1)24本中0本(−0.1)24本中0本(0.0)

誤検知率1%の閾値(z>2.33)に下げると、校正は100トークンで12本中9本、言い換えは400トークンで12本中7本、要約は400トークンで12本中2本まで増えます。往復翻訳は、200トークンの1本を除いて0本のままでした。

誤検知も確かめました。透かしのない文章(24本×3つの長さ=72件)と、透かしのない4本を加工したもの(4本×4つの加工×3つの長さ=48件)の、合わせて120件では、z>4 を超えたものは0件でした。z>2.33 を超えたのは、往復翻訳した400トークンの1件(z=2.53)で、統計のモデルから見込まれる数(120件で約1.2件)と食い違いはありません。ただし120件では、ほかのモデルや文章でも誤検知がこの程度に収まるとまでは言えません。

結果から読み取れること

  • 手を加えなければ、短くても残る: この実験では、約170字でも z 値は中央値7.5で、40本すべてが閾値を大きく超えました。長くなるほど z 値は上がり、Anthropic の「長いほど確かになる」という説明と同じ傾向です。ただし、小さなモデルは次の語の候補がばらつきやすく、透かしが乗りやすい面があります。大きなモデルや、事実を答える文章では、もっと弱くなりえます
  • 校正は、長い文章ほど残る: この小さな実験では、長いほど検出できた本数と z 値が上がりました。加工モデルの校正は、元の文章の文字のうち約86%(400トークンでは約77%)がそのまま残る程度の直し方でしたが、それでも約170字では12本中4本しか検出できませんでした。直した箇所の分だけ鍵の偏りが薄まるので、短い文章では閾値に届かなくなります。約690字なら12本中11本が残りました
  • 要約は、ほぼ消える: 要約すると、文章は短くなり(約690字の文章では、字数が中央値で元の半分以下に)、語も入れ替わります。z>4 では、どの長さでも1本も検出できませんでした
  • 言い換えは、長ければ一部残る: 元の文章の文字の6割ほどがそのまま残る書き直しで、約690字なら12本中4本が z>4 を超えました。Anthropic の「少し手を加えた程度ではおそらく完全には消えないが、すべての語を置き換えるような書き直しでは消える」という説明の、ちょうど中間にあたる結果です
  • 往復翻訳では、検出できなかった: 英語に訳すと、翻訳したモデルが文章を作り直すので、透かしを入れたモデルが選んだトークンの並びは残りません。日本語に戻した文章は、どの長さでも z>4 を超えませんでした(12本ずつ)。前に紹介した SynGuard の論文では、日本語を往復した翻訳でも精度(F1 値)が比較的残っていましたが、元の文章の言語、使ったモデル、判定の数え方(論文は F1 値)が違うので、そのまま比べることはできません

この実験でわからないこと

  • Claude の透かしの強さ: 上の数字は、小さな公開モデルに SynthID-Text の公開実装で透かしを入れた場合のものです。Claude の透かしの設定、判定の方法、モデルの大きさは違うので、Claude の文章がどこまで残るかは、この実験からはわかりません
  • 細かな割合: 加工した本数は12本ずつで、1本で約8ポイント動きます。「残る・消える」の大まかな傾向として読んでください
  • ほかの加工の仕方: 加工は1つのモデルに1回ずつ、くじ引きを使わない設定(greedy デコーディング:毎回いちばん確率の高い語を選ぶ)でさせただけです。人の手での書き直しや、別のモデル、別の頼み方では結果が変わりえます。加工モデルが説明(「修正点:…」など)を書き足した出力が5件あり、取り除いて測り直しても、閾値を超えるかどうかは変わりませんでした
  • ほかの種類の文章: 試したのはエッセイだけです。事実を答える文章やコードのように、語の選び方に自由が少ない文章では、透かしはもっと弱くなると各社の資料も書いています

それでも、「AI に要約や翻訳をさせると透かしはほぼ消え、校正だけなら長い文章では残る」という傾向は、日本語の文章でも、この条件では確かめられました。透かしの判定結果は、文章がどう加工されたかで大きく変わります。次の節の確認ポイントも、この前提で読んでください。

安全に使うために:確かめたい6つの点

使う側・判定結果を受け取る側が確かめること

  1. 「透かしが出た=AI が書いた・不正」と決めつけない
    判定でわかるのは、その会社の AI が書くか手を加えた「可能性」です。翻訳・校正・要約に使っただけでも印は付きえます。学校や職場で判定結果を見せられたら、どの程度の確からしさか、ほかの根拠はあるかを確かめましょう。
  2. 「透かしが出ない=人が書いた」とも言えない
    短い文章や大きく書き直した文章、透かしに対応していないモデルの文章では、検出できないことがあります。他社の AI の文章は、その会社の鍵がなければ調べられません。透かしは、悪意のある人を確実に見つける仕組みではありません。
  3. その判定が「透かし」なのか「AI 文章検出器」なのかを確かめる
    2つは仕組みも誤判定の性質も違います。とくに AI 文章検出器は、英語を母語としない人の文章を AI と誤判定しやすいという研究があります。

作る側(AI を使ったサービスを提供する側)が確かめること

  1. 自社のサービスに課される義務を、自社で確かめる
    Anthropic は、Claude を自社製品に組み込む事業者に、AI 法第50条が自社に何を求めるかを独自に評価するよう求めています。OpenAI の API のように透かしが既定で無効のサービスもあるので、使っているモデルと設定で透かしが入るかを、各社の最新の資料で確認します。
  2. 透かしの有無だけで、人を処分する仕組みを作らない
    除去も偽装も研究で示されています。社内規程や審査で使うなら、透かしの判定は手がかりの1つにとどめ、本人への確認やほかの証拠と組み合わせる手順にしておきましょう。
  3. 判定するなら、条件と誤判定の扱いを記録する
    文章の長さ、判定の閾値、想定する誤検知率で結果は変わります。判定 API を使える立場になったら、どの条件で何と判定したかを残し、異議があったときに説明できるようにしておくと安心です。

AI が書いた文章の透かしを理解する鍵は次の3点です

  1. 語の選び方に、鍵付きの偏りを仕込む
    AI が次の語を選ぶくじ引きを、鍵で決まる方向へ寄せるか、くじの乱数そのものを鍵で決めます。読み手には見えず、Claude の方式は SynthID-Text の系統です。
  2. 判定は統計の検定で、長いほど確かになる
    鍵の好む語が偶然より多いかを調べるので、短い文章や、事実やコードのように選択肢の少ない文章では判定しにくくなります。
  3. 消す・偽る・誤って疑う、の3つの弱点がある
    言い換えや翻訳で薄まり、鍵そのものを盗まなくても、規則を外から推定されれば偽装もされえます。判定でわかるのは「AI が関わった可能性」までです。

まとめ:透かしは「関わった可能性」の信号として扱おう!

AI が書いた文章の透かしは、2024年に Google が Gemini で実用化し、2026年8月に EU の AI 法の義務が適用されたことで、各社の標準的な機能になりつつあります。Anthropic は対応モデルの生成文に全世界で透かしを入れ、OpenAI は API での任意の透かしから始めて、EU の ChatGPT と Codex にも広げます。仕組みの土台は、2022〜2024年に提案された、語の選び方に鍵付きの偏りを仕込んで統計で判定する方式です。

一方で、言い換えや翻訳で薄まること、規則を推定されて偽装されうることを攻撃の研究が示し、判定でわかるのは「AI が関わった可能性」にすぎないことを各社の資料も認めています。透かしを、人を裁く証拠ではなく、ほかの根拠と組み合わせて使う手がかりの1つとして扱う。それが、この新しい仕組みと上手に付き合う第一歩です!

あわせて読みたい

参考文献

タイトルとURLをコピーしました