Analyze Images Advanced for LM Studio

バージョン0.6.0 — ローカル画像の検索、1枚の解析、複数画像の共同解析・比較に対応し、次のモデル応答の前に必要な画像を自動添付します。

Analyze Imagesを基にした拡張版です。作業フォルダへ画像と出典メタデータを保存するVisit Website Advanced、DuckDuckGo Advancedと組み合わせて使えます。

導入と使い始め方

プラグインIDは yuanjumay/analyze-images-advanced です。LM Studio Hubから導入する場合は、ページのインストール操作を使います。本書は0.6.0の機能を説明しており、公開済みリビジョンとローカル版は異なる場合があります。

ローカルのソースから導入する場合は、このプラグインのディレクトリで実行します。例はWindows PowerShell用です。macOS/Linuxでは npm.cmd を npm に置き換えてください。

チャットでプラグインを有効にし、画像対応のローカルモデル、または画像対応のStrata接続先を設定します。ローカル画像ツールを使う場合は、チャットの作業フォルダを設定してください。重複処理を防ぐため、以前の画像注入テスト用プラグイン・MCPは無効にします。

ツール

実際のツール名と設定ラベルは、どの言語の説明書でも英語表記に揃えています。

ツール	用途
List Local Images Advanced	ローカル画像のパスとメタデータの一覧。
Search Local Images Advanced	ファイル名、キャプション、出典ページURLなどで検索。
Analyze Local Image Advanced	確認済みのローカル画像1枚を解析。
Multi Analyze Local Images Advanced	2〜4枚を1回の推論で共同解析・比較。

解析前にList/Searchで正確なファイル名を確認します。固有の解析対象ごとにsidecar JSONメタデータが必要です。対応するダウンロード用プラグインが生成します。ローカルの番号やJSON-LDの並びから画像を推測しないでください。相対パスに対応し、絶対パスと親ディレクトリへの逸脱は拒否します。サムネイルを指定すると、対応する原寸画像を優先して探します。

依頼例:

マルチ解析の引数は imageNames、prompt、任意の context です。入力順がImage 1、Image 2…に対応し、結果には共同解析文 analysis、順序と出典の対応表 images、重複除去数 duplicatesRemoved が含まれます。同一データは重複除去し、異なる画像が2枚以上残ることを必要とします。入力不備やサイズ超過では、一部の画像だけで推論を始めません。

自動添付と手動でのやり直し

ページ画像の自動添付を有効にすると、メッセージに含まれるページURLから、親モデルの推論開始前に画像を取得します。自動取得がオフの場合も、次の形式で明示実行できます。

処理するのは最初のHTTP(S) URLだけです。JSON-LDのページに一致する Product.image を優先し、一致がなければ最初のProductを使います。画像がなければOG/Twitter画像、さらにmain/article内の画像へフォールバックします。元の順序とURLの対応を保持し、ページ説明・alt・レビューを画像解析結果として注入しません。

1枚用／マルチ解析で成功した画像は、次のユーザー送信時の候補にもなります。優先順位は 今回の手動添付 → このチャットの直近Analyze対象 → ページ画像 です。ダウンロードや一覧取得だけでは候補になりません。親モデルの推論途中へ実画像を挿入することはできないため、Analyzeはその場で解析文をツール結果として返し、実画像は後のユーザー送信時に添付します。

重複は見た目の類似ではなく画像データの完全一致で判定します。手動添付を優先し、過去に添付済みでも今回の手動再添付は保持します。自動添付済みの画像は検査対象の履歴内でスキップします。失敗した候補は再試行でき、うまくいかなければ手動添付で補えます。手動画像を比較用に読み取れない場合は保持したまま自動追加を見送ります。送信済みの履歴は書き換えません。

設定

既存チャットで保存した設定は、既定値より優先されます。

ラベル	既定値	内容
Image analysis backend	Auto	認識済みUI補助モデルではStrata、それ以外はロード済みローカル画像モデル。
Strata analysis model	`strata`	Strata独立解析のモデル名。
Automatically attach page images	オン	推論前に最初のURLを処理。
Attach analyzed images on the next turn	オン	条件を満たすAnalyze画像を次回添付。
Default page URL	空欄	URLを省略した `@inject-url` の接続先。
Maximum attached images	2	今回の手動画像数を差し引いた自動添付枠。1〜4で設定可能。
Start image number	1	ページ画像の選択開始位置。1始まり。
Strata analysis Base URL	`http://127.0.0.1:8080/v1`	グローバル設定の接続先。
Strata analysis API key (optional)	空欄	グローバル設定の認証情報。

Strataの設定は生成用プラグインとは別です。Strata (separate request) を明示選択すると、ローカルモデルの選択を行いません。1枚用／マルチ解析ともStrataの応答完了まで待ち、マルチ解析は全画像を1回のリクエストで送ります。UI補助モデルで推論する方式ではありません。4枚を解析して添付上限が2枚なら、未添付画像を入力順に2枚ずつ後のユーザー送信へ引き継ぎます。

形式・制限・トラブル対応

ローカルツールはJPG/JPEG、PNG、WebP、GIF、BMP、TIFF/TIF、AVIFを認識します。ページ取得はPNG/JPEG/WebP/GIFのMIMEタイプが対象です。
直接埋め込みとローカル解析ではJPEG/PNGを維持し、それ以外をPNGへ変換します。Strataでは従来のWebP経路を維持します。変換時は縮小せず回転情報を適用し、アニメーションは先頭フレームを使います。変換入力は40メガピクセルまでです。
1枚8 MiB、自動添付／マルチ解析の合計16 MiBまでで、変換後も制限を適用します。自動添付枠を守る目的で、固有の手動画像を削除することはありません。
HTMLは3 MiB、ネットワーク取得は合計45秒を上限とします。静的HTMLが対象で、JavaScript実行、ログイン、再帰巡回、一般的なsrcset処理はありません。
引き継ぎは直近64メッセージ、24時間以内、最大8候補を対象とします。作業フォルダ共有のキューではなく、そのチャット自身の履歴を使います。履歴の削除・圧縮やファイル変更で引き継げない場合があり、範囲外の古い画像は再添付される場合があります。
重複照合の読み取り予算は1送信32 MiB、キャッシュは最大256件のファイルハッシュです。画像本体を常駐キューへ保持しません。
画像本体は会話内のinlineデータとして保持され、Base64部分の保存量は元データの約4/3になります。旧版の失われた一時参照や既存のWebP添付は自動修復しません。

GemmaがWebP全般に非対応という意味ではありません。 検証環境では同じWebPが通常のSDKアップロードでは成功し、base64: 直接埋め込みでは失敗、PNGへの変換後は成功しました。変換はこの経路への互換対策です。更新後も古い会話で失敗する場合は、新規チャットで試すかPNG/JPEGを手動添付してください。公式画像入力仕様、GUI/APIの互換性報告も参照できます。

自動処理の失敗はステータス／デバッグ情報に示し、成功した添付は保持します。明示的な @inject-url の失敗は前処理を止めます。ページ画像の自動添付は、作業フォルダへ画像やsidecarを保存しません。ローカルファイルが必要な場合はダウンロード用ツールを使います。

開発とドキュメント

テストは実SDKメッセージ、画像変換、ファイル、HTTPと、モデル／controllerの代替応答を使います。検証対象は伝送と動作で、実モデルの比較精度ではありません。画像・複数画像への対応は選択したモデルとバックエンドにも依存します。

公開用のメインは英語の README.md とし、他の4言語も同じ範囲を説明します。公開・言語運用方針を参照してください。翻訳の追加によってプラグインを公開することはありません。

クレジットとライセンス

Analyze Imagesの派生版です。原版／改修版: vadimfedenko/analyze-images。Advanced版の変更: Yuan Jumay。MIT。元の著作権表示とライセンス表示を保持してください。