「オープンウェイト」と「オープンソース」は何が違うのか? 〜バックドアは見つけられるのかまで調べてみた

オープンウェイト

最近、AIモデルの話で「オープンソース」より「オープンウェイト」という言い方をよく見かけるようになりました。

OpenAIのgpt-ossも、AlibabaのQwen3も、MoonshotのKimi K3も、公式には「open-weight model」と名乗っています。 単なる言い換えかと思っていたら、どうも違うらしい。

AIのローカルモデルの利用は安全かということで、この話題が出て、そういえばちゃんと整理してなかったなと思ったので、調べてみました。

「重み」って何を公開しているのか?〜レシピは非公開、完成した味だけ配る

AIモデルの中身は、学習の結果できあがった膨大な数値のかたまりです。これを「パラメータ」とか「重み(ウェイト)」と呼びます。

オープンウェイトモデルというのは、この重みのデータが公開されていて、自分の環境にダウンロードして動かしたり、改変したりできるモデルのことです。

料理でたとえるなら、完成した料理そのものは渡してくれるけれど、レシピと材料の仕入れ先は教えてくれない、という感じでしょうか。

味は再現できるし、自分で調味料を足すこともできる。でも「何が入っているのか」は分からない。

重みを出しただけでは「オープンソースAI」とは呼べない〜3点セットが要る

OSI(Open Source Initiative)の定義では、重みが公開されているだけではオープンソースAIとは認められません。学習データに関する十分な情報、学習と実行のコード、そしてパラメータ。この3つが揃って初めてオープンソースAIとされます。

つまり、さきほどの料理のたとえでいえば、レシピと仕入れ先まで出して、やっとオープンソース。

多くの企業は、データの出どころや学習手順のノウハウを守りたいので、出来上がった重みと動かし方だけを公開しています。そら区別するわな、と思いました。

寛容なライセンスをつけていても、自分たちからは「オープンソース」と名乗らない会社が増えているのは、この定義があるからのようです。

EUはまた別の線を引いている〜同じ言葉で違う話をしている

ややこしいのが、公的なルールの側でも似た言葉が使われていることです。

EU AI Actでは、free and open-sourceライセンスで公開され、かつ重み・アーキテクチャ情報・利用情報が公開された、システミックリスクのない汎用AIモデルについて、一部の義務が免除されます。

OSIのほうは民間団体によるオープンソースの定義、EU AI Actのほうは規制上の例外要件。目的も法的な位置づけも違うので、ここを混ぜると話が噛み合わなくなるとのこと。

もちろん、どちらが正しいという話ではないのですが、同じ「オープン」でも指しているものが違う、というのは押さえておいたほうがよさそうです。

結局はライセンス本文を読むしかない〜「無料」と「自由」は違う

呼び名だけでは判断できない、というのが実務上の結論みたいです。

gpt-ossとQwen3はApache 2.0ですが、Kimi K3には規模や事業形態に応じた条件を含む独自ライセンスが適用されます。Llamaのコミュニティライセンスに至っては、月間7億MAUを超えると追加の合意が必要になる、といった条件まで入っています。

中小企業でMAU7億は(^^;

とはいえ、用途制限や再配布の条件は普通に効いてくるので、「オープンウェイトだから自由に使える」と思い込むのがいちばん危ない気がします。

で、懸念点は何なのか〜安全装置を自分で外せてしまう

重みが手元にあるということは、追加学習も自由にできるということです。

裏を返せば、開発元がかけた安全対策を、あとから外すこともできてしまう。ここがオープンウェイトの構造的な弱点だと言われています。

そしてもうひとつが、誰かが仕込んだモデルを、そうと知らずに使ってしまうリスク。いわゆるバックドアの話です。

バックドアは把握できるのか?〜2024年の答えは「消せなかった」

私も気になっていたのがここでした。重みは数値の羅列なので、目で見ても何も分からないわけです。

Anthropicが2024年に示したのは、特定のトリガーとなる語句が入力されたときだけ挙動が変わるモデルを作れる、ということでした。普段は正常に振る舞い、トリガーを見たときだけ悪意ある動作をする。「スリーパーエージェント(潜伏工作員)」と呼ばれるのはそのためです。

しかも、いろいろな安全性トレーニングを施しても、このバックドア挙動は除去できなかったとのこと。

えらい話やな。。と思いました。

2026年になって「探せる」ようにはなってきた〜むしろオープンだから検査できる

ただ、ここから流れが変わってきているようです。

2026年2月、Microsoftがバックドアを仕込まれたモデルを大規模にスキャンする仕組みを公開しました。誤検知率も低く抑えられているとのことです。

ポイズニングされたモデルは、トリガー語を含む入力に対して、出力の分布やアテンションヘッドに特徴的なパターンを示す。この性質を手がかりに検出するという発想らしい。

そして、ここが個人的にいちばん面白かったところなのですが。

このスキャナはモデルのファイルそのものにアクセスできることが前提で、API経由でしか触れないプロプライエタリなモデルには使えません。

つまり、重みが公開されているからこそ、中身を検査できる。オープンウェイトの弱点だと思っていたところが、そのまま強みでもあった、という構図です。

もちろん、検査できることと安全であることはイコールではありませんが。

厄介なのは、あとから目を覚ますタイプ

一方で、新しい攻撃も出てきています。

ETH ZurichがICLR 2026で発表したFAB(Finetuning-Activated Backdoors)は、配布された時点では安全性のベンチマークをすべて通過するのに、利用者が自分のデータでファインチューニングした瞬間に発動するというものです。

これ、まさに「モデルを落としてきて、自社データで追加学習する」という中小企業がやりそうな使い方が狙われている形なんですよね。

NeurIPS 2025で公開されたBackdoorLLMというベンチマークでは、8種類の攻撃手法が整理されているそうで、攻撃と防御のいたちごっこは当分続きそうです。

で、私はどうするか

支援先やセミナーの場面で「Llamaって無料で使えるんですよね」と聞かれたときに、私が答えようと思っているのはこのあたりです。

(1)「オープンウェイト」は無料と同義ではないので、ライセンス本文の用途制限だけは確認する

(2)モデルの入手先は、Hugging Faceの野良アカウントではなく開発元の公式リポジトリから取る

(3)機密データを扱う用途なら、誰が作った重みなのかを含めて調達先として評価する

要するに、AIモデルもソフトウェアの調達と同じで、サプライチェーンの話になったということかと思います。

中小企業診断士の立場で言えば、これは技術の話というより購買管理の話に近い。「安いから」で仕入先を決めない、というのと同じ発想が要るんじゃないかと思っています。

私自身はまだローカルでのモデル運用はお試しの範囲なので、偉そうなことは言えないのですが。

そんなところで。


参考にしたもの

PVアクセスランキング にほんブログ村

AI

Posted by tomoyamurakami