(2026年10月29日 追記:記事どおりに再現できるよう、必要なコードと手順を追加しました)
前回(第4回)では、スキャン図面の部屋名をローカルOCR(Tesseract)で読み取れるようにしましたが、粗いスキャンや傾きでは取りこぼしが出ました。
第5回は、外部AIの画像解析(図面の画像を生成AIに見せ、部屋名だけを答えてもらう仕組み)を、もう1つの「読み取り方式」として追加します。使うのはAnthropic社のClaude APIです。要点は「画像と指示文を送る」「崩れたJSONにも強い読み取り」「送る前に必ず確認を取る」の3つです。なお、検証環境にAPIキーが無いため、実際のAPIでの精度比較は未実施です。代わりに、ローカルOCRとの使い分けの観点を整理します。
今回作る機能と完成イメージ
- 画面に「読み取り方式」の選択欄を追加する。既定は「ローカル」(社外に何も送らない)
- 「外部AI」を選んだときだけ、ページ画像をClaude APIへ送り、部屋名と位置をJSONで受け取る
- 送信の直前に毎回「図面画像を外部サービスへ送信します」と確認する
- 結果は第3回の部屋名辞書で照合し、赤枠・青枠で表示する
パッケージはAnthropic公式のPython SDK anthropic 0.77.0(2026-01-29公開)、既定のモデルは画像入力に対応したClaude Haiku 4.5(claude-haiku-4-5-20251001)で、環境変数で差し替えられます。モデル名・料金は執筆時点のものです。公式ドキュメントで最新を確認してください。
📰 出典:Models overview(Claude Docs)
仕組みの説明:OCRは「文字を読む」、生成AIは「部屋名を選んで答える」
OCRは画像の文字を機械的に読むだけで、それが部屋名かどうかは判断しません(第3回の辞書に任せていました)。生成AIは図面全体を見て「部屋名はどれか」まで判断して答えるため、OCRが苦手な図面での底上げが期待できます。クラウドのOCR特化サービス(Google Cloud Vision、Azure AI Document Intelligenceなど)も文字を読むのは得意ですが、部屋名かどうかの判断はしません。
その代わり、生成AIの出力は自由な文章で、「JSONで」と指示しても形式が崩れることがあります。座標もおおよその値です。今回のコードの大半は、このブレへの対策と送信前の確認です。
処理の流れは次のとおりです。
| 手順 | やること | 使うモジュール |
|---|---|---|
| 1 | APIキーの確認→送信確認ダイアログ | ocr_ai.py・main_window.py |
| 2 | ページを画像化し、長辺1568ピクセル以内に縮小 | pdf_loader.py(第1回)+ocr_ai.py |
| 3 | 画像と指示文を送り、応答のJSONを座標付きの単語に変換 | ocr_ai.py |
| 4 | 部屋名辞書で照合し、ハイライト表示 | room_matcher.py(第3回) |
実装
ファイル構成(第5回時点の差分)
madori-ocr/
├ app/
│ ├ core/
│ │ └ ocr_ai.py …【今回追加】画像の縮小・リクエスト作成・応答JSONのパース・エラー処理
│ └ ui/
│ └ main_window.py …【今回変更】読み取り方式の選択欄、送信確認ダイアログ
├ tests/
│ └ test_ocr_ai.py …【今回追加】pytest 31件(実際のAPIは呼ばない)
├ .env.example …【今回追加】環境変数名の一覧(値は書かない)
└ requirements.txt …【今回変更】anthropic==0.77.0 を追加
APIキーとモデルIDは環境変数から読む(app/core/ocr_ai.py)
APIキーは環境変数 ANTHROPIC_API_KEY から読み、未設定なら通信の前に対処方法が分かるメッセージで止めます。ファイルの全文は後述の「この回で追加・変更するファイル」に載せています。
# app/core/ocr_ai.py(抜粋)
ENV_API_KEY = "ANTHROPIC_API_KEY"
ENV_MODEL = "MADORI_OCR_AI_MODEL"
DEFAULT_AI_MODEL = "claude-haiku-4-5-20251001" # 執筆時点のモデルID
def get_api_key(environ: dict[str, str] | None = None) -> str:
env = os.environ if environ is None else environ
key = env.get(ENV_API_KEY, "").strip()
if not key:
raise AiApiKeyMissingError(
f"外部AIのAPIキーが設定されていません。環境変数 {ENV_API_KEY} にAPIキーを設定してから"
"アプリを起動し直してください(キーはコードや設定ファイルに書かないでください)。"
"外部AIを使わない場合は、読み取り方式を「ローカル」に戻してください。"
)
return key
def resolve_model(environ: dict[str, str] | None = None) -> str:
env = os.environ if environ is None else environ
return env.get(ENV_MODEL, "").strip() or DEFAULT_AI_MODEL
リポジトリには値の無い .env.example だけを置きます。キーの保存先は第10回でWindowsの資格情報マネージャー(keyring)に移します。
画像を縮小してから送る理由
公式ドキュメントによると、大きすぎる画像はAPI側で縮小されます。そうなると返ってくる座標の基準が変わるため、送る前に自分で長辺1568ピクセル以内に縮小し、縮小率を座標の変換に反映させます。形式は細い文字がつぶれにくいPNGです。
📰 出典:Vision(Claude Docs)
# app/core/ocr_ai.py(抜粋)
DEFAULT_MAX_LONG_EDGE = 1568
def prepare_image(image: Image.Image, *, base_scale: float,
max_long_edge: int = DEFAULT_MAX_LONG_EDGE) -> PreparedImage:
rgb = image.convert("RGB")
ratio = min(1.0, max_long_edge / max(rgb.width, rgb.height))
if ratio < 1.0:
new_size = (max(1, round(rgb.width * ratio)), max(1, round(rgb.height * ratio)))
rgb = rgb.resize(new_size, Image.Resampling.LANCZOS)
buffer = io.BytesIO()
rgb.save(buffer, format="PNG")
png_base64 = base64.standard_b64encode(buffer.getvalue()).decode("ascii")
# 送った画像のピクセル座標 ÷ scale = PDF座標(ポイント)
return PreparedImage(png_base64=png_base64, width=rgb.width, height=rgb.height,
scale=base_scale * ratio)
A4・150dpi(1240×1754ピクセル)の図面は、約1108×1568ピクセルに縮小して送ります。
画像と「部屋名だけをJSONで」という指示を送る
Base64(画像を文字列にしたもの)の画像ブロックと指示文を1つのメッセージで送ります。公式ドキュメントの推奨に従い、画像を先に置いています。
# app/core/ocr_ai.py(抜粋)
ROOM_EXTRACTION_PROMPT = """\
この画像は建物の間取り図(平面図)です。図面に書かれた文字のうち、部屋名だけをJSONで返してください。
ルール:
- 部屋名とは「居間」「寝室1」「キッチン」「洗面所」「バルコニー」のように、部屋・空間の名前を表すラベルです。
- 寸法(例: 3640、W=3640)、方位、縮尺、図面タイトル、注記、記号は含めないでください。
- 図面に書かれている表記をそのまま返し、番号(寝室1の「1」など)も省略しないでください。読めない文字を推測で補わないでください。
- bboxは画像左上を原点としたピクセル座標 [左, 上, 右, 下] です。画像サイズは幅{width}px・高さ{height}pxです。
- 部屋名が1つも無い場合は {{"rooms": []}} を返してください。
- 説明文やコードブロックは付けず、次の形式のJSONだけを出力してください。
{{"rooms": [{{"name": "居間", "bbox": [120, 80, 180, 110]}}]}}
"""
def build_request(prepared: PreparedImage, *, model: str,
max_tokens: int = DEFAULT_MAX_TOKENS) -> dict[str, Any]:
prompt = ROOM_EXTRACTION_PROMPT.format(width=prepared.width, height=prepared.height)
return {
"model": model,
"max_tokens": max_tokens,
"messages": [{
"role": "user",
"content": [
{"type": "image",
"source": {"type": "base64", "media_type": "image/png",
"data": prepared.png_base64}},
{"type": "text", "text": prompt},
],
}],
}
指示文には、除外するもの(寸法・注記など)と「番号を省略しない」「推測で補わない」を明記しました。第4回の「寝室1が寝室になる」番号落ちを防ぐためです。送信内容を組み立てる関数を分けたのは、APIを呼ばずにpytestで検証するためです。
応答のJSONを崩れに強い方法で読み取る
「JSONだけを出力して」と指示しても、前置きの文章やコードブロック付きで返ることがあります。そこで応答から最初のJSONを探して取り出し、1件ずつ確かめます。
# app/core/ocr_ai.py(抜粋)
def parse_ai_response(text: str, *, image_width: int, image_height: int,
scale: float, page_number: int = 0) -> list[ExtractedWord]:
data = _load_json_object(text) # 前置き・コードフェンス付きでも取り出す
rooms = data.get("rooms")
if not isinstance(rooms, list):
raise AiResponseFormatError('AIの応答に "rooms" のリストがありません。')
words: list[ExtractedWord] = []
for item in rooms:
if not isinstance(item, dict):
continue
name = item.get("name")
if not isinstance(name, str) or not name.strip():
continue
bbox = _parse_bbox(item.get("bbox"), image_width, image_height) # 4つの数値か・画像内か
if bbox is None:
continue
x0, y0, x1, y1 = (value / scale for value in bbox)
words.append(ExtractedWord(text=name.strip(), bbox=(x0, y0, x1, y1),
font_size=y1 - y0, page_number=page_number))
return words
方針は「全体が崩れていればエラー、1件だけおかしければその1件だけ捨てる」です。はみ出した座標は画像の範囲に切り詰めます。戻り値は第2回・第4回と同じ ExtractedWord なので、表示処理はそのまま使えます。
APIエラーを種類ごとに分かりやすく伝える
SDKはエラーの種類ごとに例外クラスを分けています。「待てば直るのか、設定を直すべきか」が伝わるよう、種類ごとに日本語のメッセージへ変換しました。
# app/core/ocr_ai.py(抜粋)
try:
response = client.messages.create(**request)
except anthropic.AuthenticationError as exc: # 401:APIキーが無効
raise AiOcrError(f"APIキーが無効です。環境変数 {ENV_API_KEY} の値を確認してください。") from exc
except anthropic.NotFoundError as exc: # 404:モデルIDの誤りなど
raise AiOcrError(f"モデル '{used_model}' が見つかりません。...") from exc
except anthropic.RateLimitError as exc: # 429:利用上限
raise AiOcrError("APIの利用上限(レート制限)に達しました。...") from exc
except anthropic.APIStatusError as exc: # その他のHTTPエラー
raise AiOcrError(f"外部AIの呼び出しに失敗しました(HTTP {exc.status_code}): {exc.message}") from exc
except anthropic.APIConnectionError as exc: # 通信エラー・タイムアウト
raise AiOcrError("外部AIに接続できませんでした。...") from exc
一時的な通信エラーや混雑はSDKが自動で再試行します(今回は最大2回・60秒で打ち切り)。応答が途中で打ち切られた場合(stop_reason が max_tokens)も形式エラーにします。
📰 出典:Errors(Claude Docs)
画面:既定はローカル、送信前に必ず確認する(app/ui/main_window.py)
「読み取り方式」のラジオボタンを追加しました。既定は「ローカル」で第4回までと同じ動きです。「外部AI」のときだけ次の処理をします。
# app/ui/main_window.py(抜粋)
def _detect_words_with_ai(self) -> tuple[list[ExtractedWord], str] | None:
try:
api_key = get_api_key() # キーが無ければ、確認ダイアログの前に止める
except AiOcrError as exc:
messagebox.showerror("外部AIの設定エラー", str(exc))
return None
model = resolve_model()
if not messagebox.askokcancel(
SEND_CONFIRMATION_TITLE, # 「図面画像を外部サービスへ送信します」
SEND_CONFIRMATION_TITLE,
detail=build_send_confirmation_message(model),
icon="warning",
default="cancel", # Enterキーだけで送信されないように
):
self.status_var.set("外部AIへの送信をキャンセルしました(何も送信していません)。")
return None
self.status_var.set("外部AIで読み取っています(通信中)...")
self.update_idletasks()
try:
result = ai_ocr_pdf_page(self.preview.document, self.preview.page_number,
client=self._create_ai_client(api_key), model=model)
except (AiOcrError, PdfLoadError) as exc:
messagebox.showerror("外部AIエラー", str(exc))
return None
return result.words, "ai"
外部AIの結果も部屋名辞書で照合してから青枠にします。AIが辞書に無い語(読み違いや推測で補った語)を返すと赤枠だけが残り、人が気付けます。座標はおおよその値のため、外部AIの結果に限り文字サイズでの足切りは外しました。
この回で追加・変更するファイル
上で抜粋した app/core/ocr_ai.py の全体です。
app/core/ocr_ai.py を新しく作ります(全文)。
app/core/ocr_ai.py の全文(388行)
# app/core/ocr_ai.py
"""外部のマルチモーダルAI(Anthropic Claude の Messages API・画像入力)で部屋名を読み取るコア処理。
第4回の `app/core/ocr_local.py`(Tesseract)は、画像から「文字」を機械的に
読み取る処理だった。文字そのものは読めても、それが部屋名なのか、寸法・
注記・図面タイトルなのかは判断しない(その判断は第3回の部屋名辞書に任せていた)。
このモジュールは、ページを画像化して外部の生成AI(画像を理解して指示に
答えられるAI)に渡し、「この図面から部屋名だけをJSONで返して」と指示する。
AIは図面全体の文脈(部屋の枠の中央にある語か、寸法線の横にある数値か)を
踏まえて部屋名だけを選んで返すため、OCRでは区別しにくいケースで精度の
底上げが期待できる。一方で、次の点が第4回までと大きく異なる。
- **図面画像が社外(API提供元)に送信される**。そのため、このモジュールは
呼び出されない限り何も送信しない。画面側(`app/ui/main_window.py`)で
利用者が読み取り方式として「外部AI」を明示的に選び、送信確認ダイアログで
了承した場合だけ呼び出す(既定はローカル完結。連載の設計方針)。
- **応答は自由記述のテキスト**。指示どおりのJSONだけが返る保証は無く、
前後に説明文やコードフェンス(```json ... ```)が付くこともあるため、
`parse_ai_response()` で頑健に取り出し、形式が崩れていれば
`AiResponseFormatError` にする。
- **APIキーと利用料金が必要**。APIキーはコード・設定ファイルに書かず、
環境変数 `ANTHROPIC_API_KEY` から読む(保存方法は第10回で見直す)。
戻り値は第2回・第4回と同じ `ExtractedWord`(文字列・座標・文字の高さ・
ページ番号)にそろえ、プレビューのハイライト表示や部屋名辞書との照合を
そのまま再利用できるようにしている。
このモジュールは anthropic SDK・Pillow 以外の追加ライブラリに依存せず、
tkinterなどGUIライブラリはimportしない(「コア処理はGUI非依存にし、
pytestで自動検証する」という第0回からの方針)。テストでは実際のAPIを
呼ばず、`client` 引数にダミーのクライアントを渡して検証する。
"""
from __future__ import annotations
import base64
import io
import json
import os
import re
import time
from dataclasses import dataclass
from typing import Any
import anthropic
from PIL import Image
from app.core.ocr_local import image_from_ppm_bytes
from app.core.pdf_loader import DEFAULT_DPI, PdfDocument
from app.core.text_extractor import ExtractedWord
#: APIキーを読む環境変数名(値はコード・設定ファイルに書かない)
ENV_API_KEY = "ANTHROPIC_API_KEY"
#: 使用するモデルIDを差し替えるための環境変数名
ENV_MODEL = "MADORI_OCR_AI_MODEL"
#: 既定のモデルID(執筆時点。画像入力に対応したClaude Haiku 4.5のスナップショットID)。
#: モデルは入れ替わりが速いため、公式ドキュメントのモデル一覧で最新を確認し、
#: 必要なら環境変数 `MADORI_OCR_AI_MODEL` で差し替える。
DEFAULT_AI_MODEL = "claude-haiku-4-5-20251001"
#: 応答の最大トークン数。返してほしいのは部屋名と座標の短いJSONだけなので小さめにする。
DEFAULT_MAX_TOKENS = 2048
#: 送信前に画像を縮小するときの長辺の上限(ピクセル)。
#: 公式ドキュメントでは、これを超える大きな画像はAPI側で縮小してから処理すると
#: 説明されている。API側で縮小されると、AIが返す座標は「縮小後の画像」基準に
#: なってしまい、元の図面の位置に戻せなくなる。そこで送信前に自分で縮小し、
#: 座標の基準となる画像サイズをこちらで把握しておく。
DEFAULT_MAX_LONG_EDGE = 1568
#: 1回のAPI呼び出しのタイムアウト(秒)とSDKの自動リトライ回数
DEFAULT_TIMEOUT_SECONDS = 60.0
DEFAULT_MAX_RETRIES = 2
#: AIに渡す指示文(プロンプト)。{width}・{height}には送信する画像のサイズが入る。
ROOM_EXTRACTION_PROMPT = """\
この画像は建物の間取り図(平面図)です。図面に書かれた文字のうち、部屋名だけをJSONで返してください。
ルール:
- 部屋名とは「居間」「寝室1」「キッチン」「洗面所」「バルコニー」のように、部屋・空間の名前を表すラベルです。
- 寸法(例: 3640、W=3640)、方位、縮尺、図面タイトル、注記、記号は含めないでください。
- 図面に書かれている表記をそのまま返し、番号(寝室1の「1」など)も省略しないでください。読めない文字を推測で補わないでください。
- bboxは画像左上を原点としたピクセル座標 [左, 上, 右, 下] です。画像サイズは幅{width}px・高さ{height}pxです。
- 部屋名が1つも無い場合は {{"rooms": []}} を返してください。
- 説明文やコードブロックは付けず、次の形式のJSONだけを出力してください。
{{"rooms": [{{"name": "居間", "bbox": [120, 80, 180, 110]}}]}}
"""
#: 応答テキストに付くことがあるコードフェンス(```json ... ```)を取り除くための正規表現
_CODE_FENCE_PATTERN = re.compile(r"```(?:json)?\s*(.*?)```", re.DOTALL)
class AiOcrError(RuntimeError):
"""外部AIでの読み取りに失敗した場合の例外の基底クラス。"""
class AiApiKeyMissingError(AiOcrError):
"""環境変数 `ANTHROPIC_API_KEY` にAPIキーが設定されていない場合に送出する例外。"""
class AiResponseFormatError(AiOcrError):
"""AIの応答から、指示した形式のJSONを取り出せなかった場合に送出する例外。"""
@dataclass(frozen=True)
class AiOcrResult:
"""外部AIでの読み取り結果1ページ分。"""
#: 読み取った部屋名(座標はPDF座標系に変換済み)
words: list[ExtractedWord]
#: 実際に使ったモデルID
model: str
#: 課金の目安になるトークン数(入力=画像+指示文、出力=応答)。料金は公式の料金表で換算する
input_tokens: int
output_tokens: int
#: API呼び出しにかかった時間(秒)
elapsed_seconds: float
@dataclass(frozen=True)
class PreparedImage:
"""送信用に縮小・PNG化した画像と、座標変換に必要な情報。"""
png_base64: str
width: int
height: int
#: 送信した画像のピクセル座標をPDF座標(ポイント)に変換するときに割る値
scale: float
def get_api_key(environ: dict[str, str] | None = None) -> str:
"""環境変数 `ANTHROPIC_API_KEY` からAPIキーを読む。
未設定・空白だけの場合は、分かりやすいメッセージで `AiApiKeyMissingError`(キーの値は含めない)。
"""
env = os.environ if environ is None else environ
key = env.get(ENV_API_KEY, "").strip()
if not key:
raise AiApiKeyMissingError(
f"外部AIのAPIキーが設定されていません。環境変数 {ENV_API_KEY} にAPIキーを設定してから"
"アプリを起動し直してください(キーはコードや設定ファイルに書かないでください)。"
"外部AIを使わない場合は、読み取り方式を「ローカル」に戻してください。"
)
return key
def resolve_model(environ: dict[str, str] | None = None) -> str:
"""使用するモデルIDを返す(環境変数 `MADORI_OCR_AI_MODEL` があればそれ、無ければ既定)。"""
env = os.environ if environ is None else environ
return env.get(ENV_MODEL, "").strip() or DEFAULT_AI_MODEL
def create_client(api_key: str) -> anthropic.Anthropic:
"""Anthropic公式SDKのクライアントを作る(タイムアウトと自動リトライ回数を明示)。"""
return anthropic.Anthropic(api_key=api_key, timeout=DEFAULT_TIMEOUT_SECONDS, max_retries=DEFAULT_MAX_RETRIES)
def prepare_image(
image: Image.Image,
*,
base_scale: float,
max_long_edge: int = DEFAULT_MAX_LONG_EDGE,
) -> PreparedImage:
"""画像を長辺 `max_long_edge` 以内に縮小し、PNG形式のBase64文字列にする。
`base_scale` は、元の画像のピクセル座標をPDF座標に変換する倍率
(`(dpi / 72.0) * zoom`。第4回の `ocr_local.py` と同じ考え方)。
縮小した場合はその比率を掛けた値を `PreparedImage.scale` に入れる。
PNG(可逆圧縮)にするのは、JPEGの圧縮ノイズで細い文字が読みにくくなるのを避けるため。
"""
if max_long_edge <= 0:
raise ValueError("max_long_edge は1以上を指定してください。")
rgb = image.convert("RGB")
ratio = min(1.0, max_long_edge / max(rgb.width, rgb.height))
if ratio < 1.0:
new_size = (max(1, round(rgb.width * ratio)), max(1, round(rgb.height * ratio)))
rgb = rgb.resize(new_size, Image.Resampling.LANCZOS)
buffer = io.BytesIO()
rgb.save(buffer, format="PNG")
png_base64 = base64.standard_b64encode(buffer.getvalue()).decode("ascii")
return PreparedImage(png_base64=png_base64, width=rgb.width, height=rgb.height, scale=base_scale * ratio)
def build_request(prepared: PreparedImage, *, model: str, max_tokens: int = DEFAULT_MAX_TOKENS) -> dict[str, Any]:
"""`client.messages.create()` に渡す引数(辞書)を組み立てる。
画像はBase64の `image` ブロックとして、指示文の `text` ブロックより前に置く
(公式ドキュメントで、画像を先・質問を後にする構成が推奨されているため)。
送信内容を関数として切り出しておくと、APIを呼ばずにpytestで中身を検証できる。
"""
prompt = ROOM_EXTRACTION_PROMPT.format(width=prepared.width, height=prepared.height)
return {
"model": model,
"max_tokens": max_tokens,
"messages": [
{
"role": "user",
"content": [
{
"type": "image",
"source": {"type": "base64", "media_type": "image/png", "data": prepared.png_base64},
},
{"type": "text", "text": prompt},
],
}
],
}
def parse_ai_response(
text: str,
*,
image_width: int,
image_height: int,
scale: float,
page_number: int = 0,
) -> list[ExtractedWord]:
"""AIの応答テキストから部屋名のJSONを取り出し、`ExtractedWord` のリストに変換する。
- 前後の説明文・コードフェンスが付いていても、最初のJSONオブジェクトを取り出す。
- `{"rooms": [...]}` の形でなければ `AiResponseFormatError`。
- 1件ごとの `name` が空、`bbox` が4つの数値でない、画像の外にはみ出している
などの項目は、その項目だけを捨てる(1件の崩れで全体を失わないため)。
bboxは画像の範囲に切り詰めてからPDF座標に変換する。
- `font_size` には第4回のOCRと同じく、枠の高さ(PDF座標)を概算値として入れる。
ただしAIの座標はおおよその値なので、フォントサイズとしての信頼度はOCRより低い。
"""
data = _load_json_object(text)
rooms = data.get("rooms")
if not isinstance(rooms, list):
raise AiResponseFormatError('AIの応答に "rooms" のリストがありません。')
words: list[ExtractedWord] = []
for item in rooms:
if not isinstance(item, dict):
continue
name = item.get("name")
if not isinstance(name, str) or not name.strip():
continue
bbox = _parse_bbox(item.get("bbox"), image_width, image_height)
if bbox is None:
continue
x0, y0, x1, y1 = (value / scale for value in bbox)
words.append(ExtractedWord(text=name.strip(), bbox=(x0, y0, x1, y1), font_size=y1 - y0, page_number=page_number))
return words
def _load_json_object(text: str) -> dict[str, Any]:
candidates: list[str] = [match.strip() for match in _CODE_FENCE_PATTERN.findall(text)]
candidates.append(text.strip())
decoder = json.JSONDecoder()
for candidate in candidates:
start = candidate.find("{")
while start != -1:
try:
obj, _end = decoder.raw_decode(candidate, start)
except json.JSONDecodeError:
start = candidate.find("{", start + 1)
continue
if isinstance(obj, dict):
return obj
start = candidate.find("{", start + 1)
snippet = text.strip().replace("\n", " ")[:80]
raise AiResponseFormatError(f"AIの応答からJSONを読み取れませんでした(応答の先頭: {snippet!r})。")
def _parse_bbox(raw: Any, image_width: int, image_height: int) -> tuple[float, float, float, float] | None:
if not isinstance(raw, (list, tuple)) or len(raw) != 4:
return None
if not all(isinstance(v, (int, float)) and not isinstance(v, bool) for v in raw):
return None
x0, y0, x1, y1 = (float(v) for v in raw)
x0, x1 = sorted((max(0.0, min(x0, image_width)), max(0.0, min(x1, image_width))))
y0, y1 = sorted((max(0.0, min(y0, image_height)), max(0.0, min(y1, image_height))))
if x1 - x0 <= 0 or y1 - y0 <= 0:
return None
return x0, y0, x1, y1
def ai_ocr_image(
image: Image.Image,
*,
base_scale: float,
page_number: int = 0,
client: Any | None = None,
model: str | None = None,
max_long_edge: int = DEFAULT_MAX_LONG_EDGE,
) -> AiOcrResult:
"""画像を外部AIに送り、部屋名を読み取って `AiOcrResult` を返す。
`client` を省略すると、環境変数のAPIキーで `create_client()` を呼ぶ
(キーが無ければ、通信する前に `AiApiKeyMissingError`)。テストでは
`messages.create()` を持つダミーを渡す。
APIのエラーは種類ごとに分かりやすい日本語メッセージの `AiOcrError` に変換する。
"""
if client is None:
client = create_client(get_api_key())
used_model = model or resolve_model()
prepared = prepare_image(image, base_scale=base_scale, max_long_edge=max_long_edge)
request = build_request(prepared, model=used_model)
started = time.perf_counter()
try:
response = client.messages.create(**request)
except anthropic.AuthenticationError as exc: # 401
raise AiOcrError(f"APIキーが無効です。環境変数 {ENV_API_KEY} の値を確認してください。") from exc
except anthropic.PermissionDeniedError as exc: # 403
raise AiOcrError("このAPIキーには、このモデル・機能を使う権限がありません。") from exc
except anthropic.NotFoundError as exc: # 404
raise AiOcrError(
f"モデル '{used_model}' が見つかりません。環境変数 {ENV_MODEL} のモデルIDを"
"公式ドキュメントで確認してください。"
) from exc
except anthropic.RateLimitError as exc: # 429(SDKの自動リトライ後もなお失敗)
raise AiOcrError("APIの利用上限(レート制限)に達しました。しばらく待ってから再実行してください。") from exc
except anthropic.APIStatusError as exc: # その他のHTTPエラー(400・5xxなど)
raise AiOcrError(f"外部AIの呼び出しに失敗しました(HTTP {exc.status_code}): {exc.message}") from exc
except anthropic.APIConnectionError as exc: # 通信エラー・タイムアウト
raise AiOcrError("外部AIに接続できませんでした。ネットワーク接続・プロキシ設定を確認してください。") from exc
elapsed = time.perf_counter() - started
if getattr(response, "stop_reason", None) == "max_tokens":
raise AiResponseFormatError("AIの応答が長すぎて途中で打ち切られました(max_tokensに到達)。")
text = "".join(block.text for block in response.content if getattr(block, "type", None) == "text")
words = parse_ai_response(
text,
image_width=prepared.width,
image_height=prepared.height,
scale=prepared.scale,
page_number=page_number,
)
usage = getattr(response, "usage", None)
return AiOcrResult(
words=words,
model=used_model,
input_tokens=int(getattr(usage, "input_tokens", 0) or 0),
output_tokens=int(getattr(usage, "output_tokens", 0) or 0),
elapsed_seconds=elapsed,
)
def ai_ocr_pdf_page(
document: PdfDocument,
page_number: int,
*,
dpi: int = DEFAULT_DPI,
client: Any | None = None,
model: str | None = None,
max_long_edge: int = DEFAULT_MAX_LONG_EDGE,
) -> AiOcrResult:
"""指定ページを画像化し、外部AIで部屋名を読み取る。
画像化は第4回のOCRと同じく `PdfDocument.render_page(zoom=1.0)` を再利用する
(プレビューの拡大率に結果が左右されないようにするため)。
"""
rendered = document.render_page(page_number, zoom=1.0, dpi=dpi)
image = image_from_ppm_bytes(rendered.ppm_bytes)
base_scale = (rendered.dpi / 72.0) * rendered.zoom
return ai_ocr_image(
image,
base_scale=base_scale,
page_number=rendered.page_number,
client=client,
model=model,
max_long_edge=max_long_edge,
)
#: 送信確認ダイアログの見出し(ダイアログのタイトルと本文1行目に使う)
SEND_CONFIRMATION_TITLE = "図面画像を外部サービスへ送信します"
def build_send_confirmation_message(model: str) -> str:
"""送信確認ダイアログの本文(見出しの下に出す詳細)を返す。
GUIに依存しないようここで組み立て、pytestで文面を検証できるようにしている。
"""
return (
"表示中のページを画像化し、Anthropic社のClaude APIへ送信して部屋名を読み取ります。\n\n"
f"・使用するモデル:{model}\n"
"・送信するもの:表示中の1ページの画像(図面の文字・線をすべて含みます)\n"
"・APIの利用料金が発生します\n\n"
"顧客の図面を社外へ送ってよいか、契約・秘密保持の取り決めを確認してから進めてください。\n"
"送信してよろしいですか?"
)
メイン画面には「読み取り方式」の選択欄と、外部AIで読み取る _detect_words_with_ai() を追加します。
app/ui/main_window.py に次の変更を加えます(+ が追加、- が削除)。
app/ui/main_window.py の差分(238行)
--- a/app/ui/main_window.py
+++ b/app/ui/main_window.py
@@ -14,6 +14,12 @@
「4. 部屋名候補だけを絞り込んでハイライト」の両ボタンとも、まず
`extract_words()` を試し、0件だった場合だけOCRを実行する(埋め込み文字が
取れる図面では、OCRより高速で正確なベクター文字抽出を優先する)。
+第5回では、「読み取り方式」の選択欄を追加した。既定は「ローカル」(埋め込み
+文字→無ければTesseract OCR。図面を社外に送らない)で、利用者が「外部AI」を
+明示的に選んだ場合だけ、`app/core/ocr_ai.py` で図面画像を外部のマルチモーダル
+AI(Anthropic Claude)へ送り、部屋名だけをJSONで受け取る。送信の直前には
+毎回「図面画像を外部サービスへ送信します」という確認ダイアログを出し、
+「キャンセル」を選べば何も送信しない。
"""
from __future__ import annotations
@@ -22,6 +28,15 @@ import tkinter as tk
from tkinter import filedialog, messagebox, ttk
from app.core.file_selection import FileSelectionError, SelectedFiles, validate_excel_path, validate_pdf_path
+from app.core.ocr_ai import (
+ SEND_CONFIRMATION_TITLE,
+ AiOcrError,
+ ai_ocr_pdf_page,
+ build_send_confirmation_message,
+ create_client,
+ get_api_key,
+ resolve_model,
+)
from app.core.ocr_local import OcrError, is_tesseract_available, ocr_pdf_page
from app.core.pdf_loader import PdfLoadError
from app.core.room_matcher import RoomDictionaryError, filter_room_candidates, load_room_dictionary
@@ -29,13 +44,17 @@ from app.core.text_extractor import ExtractedWord, extract_words
from app.ui.preview_canvas import PreviewCanvas
WINDOW_TITLE = "間取りOCR転記ツール"
-WINDOW_SIZE = "760x720"
+WINDOW_SIZE = "760x780"
PDF_FILETYPES = [("PDFファイル", "*.pdf")]
EXCEL_FILETYPES = [("Excelファイル", "*.xlsx *.xlsm")]
+#: 読み取り方式(第5回)。既定はローカル完結(図面を社外に送らない)
+READ_MODE_LOCAL = "local"
+READ_MODE_AI = "ai"
+
#: 検出に使った方式ごとの、ステータス行に添える説明
-_SOURCE_NOTES = {"embedded": "", "ocr": "(OCRで検出)"}
+_SOURCE_NOTES = {"embedded": "", "ocr": "(OCRで検出)", "ai": "(外部AIで検出)"}
class MainWindow(ttk.Frame):
@@ -48,6 +67,8 @@ class MainWindow(ttk.Frame):
self.pdf_path_var = tk.StringVar(value="未選択")
self.excel_path_var = tk.StringVar(value="未選択")
self.status_var = tk.StringVar(value="PDF図面とExcelテンプレートを選んでください。")
+ # 読み取り方式。既定は必ずローカル(外部AIは利用者が明示的に選んだときだけ使う)
+ self.read_mode_var = tk.StringVar(value=READ_MODE_LOCAL)
# 部屋名辞書はアプリ起動時に1回だけ読み込み、ボタンを押すたびに使い回す
# (`app/config/rooms.yaml` を毎回読み直す必要はないため)。読み込みに
@@ -69,7 +90,7 @@ class MainWindow(ttk.Frame):
def _build_widgets(self) -> None:
self.columnconfigure(0, weight=1)
- self.rowconfigure(8, weight=1)
+ self.rowconfigure(9, weight=1)
ttk.Label(self, text="1. CAD図面PDFを選択").grid(row=0, column=0, sticky="w")
ttk.Button(self, text="PDFを選ぶ...", command=self._on_choose_pdf).grid(row=0, column=1, padx=8)
@@ -83,13 +104,29 @@ class MainWindow(ttk.Frame):
row=3, column=0, columnspan=2, sticky="w", pady=(0, 12)
)
+ mode_frame = ttk.Frame(self)
+ mode_frame.grid(row=4, column=0, columnspan=2, sticky="ew", pady=(0, 4))
+ ttk.Label(mode_frame, text="読み取り方式:").pack(side="left")
+ ttk.Radiobutton(
+ mode_frame,
+ text="ローカル(埋め込み文字→OCR。社外に送信しない)",
+ variable=self.read_mode_var,
+ value=READ_MODE_LOCAL,
+ ).pack(side="left")
+ ttk.Radiobutton(
+ mode_frame,
+ text="外部AI(Claude。図面画像を送信)",
+ variable=self.read_mode_var,
+ value=READ_MODE_AI,
+ ).pack(side="left", padx=(8, 0))
+
self.detect_text_button = ttk.Button(
self,
- text="3. 表示中のページの文字を検出してハイライト(埋め込み文字が無ければOCR)",
+ text="3. 表示中のページの文字を検出してハイライト(ローカル時、埋め込み文字が無ければOCR)",
command=self._on_detect_text,
state="disabled",
)
- self.detect_text_button.grid(row=4, column=0, columnspan=2, sticky="ew", pady=(4, 4))
+ self.detect_text_button.grid(row=5, column=0, columnspan=2, sticky="ew", pady=(4, 4))
self.filter_room_button = ttk.Button(
self,
@@ -97,22 +134,22 @@ class MainWindow(ttk.Frame):
command=self._on_filter_room_candidates,
state="disabled",
)
- self.filter_room_button.grid(row=5, column=0, columnspan=2, sticky="ew", pady=(4, 4))
+ self.filter_room_button.grid(row=6, column=0, columnspan=2, sticky="ew", pady=(4, 4))
self.run_button = ttk.Button(
self, text="5. 実行(次回以降で実装)", command=self._on_run, state="disabled"
)
- self.run_button.grid(row=6, column=0, columnspan=2, sticky="ew", pady=(4, 12))
+ self.run_button.grid(row=7, column=0, columnspan=2, sticky="ew", pady=(4, 12))
ttk.Label(self, textvariable=self.status_var, foreground="#1a6b2a").grid(
- row=7, column=0, columnspan=2, sticky="w"
+ row=8, column=0, columnspan=2, sticky="w"
)
ttk.Label(self, text="図面プレビュー(赤枠:検出した単語すべて/青枠:部屋名候補)").grid(
- row=8, column=0, sticky="nw", pady=(12, 0)
+ row=9, column=0, sticky="nw", pady=(12, 0)
)
self.preview = PreviewCanvas(self)
- self.preview.grid(row=8, column=0, columnspan=2, sticky="nsew", pady=(28, 0))
+ self.preview.grid(row=9, column=0, columnspan=2, sticky="nsew", pady=(28, 0))
def _on_choose_pdf(self) -> None:
path = filedialog.askopenfilename(title="CAD図面PDFを選択", filetypes=PDF_FILETYPES)
@@ -163,13 +200,17 @@ class MainWindow(ttk.Frame):
def _detect_words_for_current_page(self) -> tuple[list[ExtractedWord], str] | None:
"""表示中のページの単語を検出する。戻り値は `(単語リスト, 検出方式)`、失敗時は `None`。
- まず埋め込み文字の抽出(第2回。1ミリ秒未満)を試し、1件も無かった場合だけ
- ローカルOCR(第4回)にフォールバックする。検出方式は "embedded"(埋め込み文字)・
- "ocr"(ローカルOCR)のどちらか。
+ 読み取り方式が「ローカル」(既定)の場合は、まず埋め込み文字の抽出
+ (第2回。1ミリ秒未満)を試し、1件も無かった場合だけローカルOCR(第4回)に
+ フォールバックする。「外部AI」の場合は第5回の確認ダイアログを出してから
+ 外部AIで読み取る。検出方式は "embedded"(埋め込み文字)・"ocr"(ローカルOCR)・
+ "ai"(外部AI)のいずれか。
"""
document = self.preview.document
if document is None:
return None
+ if self.read_mode_var.get() == READ_MODE_AI:
+ return self._detect_words_with_ai()
try:
words = extract_words(document, self.preview.page_number)
@@ -192,6 +233,50 @@ class MainWindow(ttk.Frame):
return None
return ocr_words, "ocr"
+ def _detect_words_with_ai(self) -> tuple[list[ExtractedWord], str] | None:
+ """表示中のページを外部AIに送り、部屋名を読み取る(第5回)。
+
+ 1. APIキー(環境変数 `ANTHROPIC_API_KEY`)が無ければ、送信確認より前にエラーを表示して終わる
+ (確認ダイアログで「OK」を押させてから失敗させないため)。
+ 2. 「図面画像を外部サービスへ送信します」という確認ダイアログを毎回出す。
+ 「キャンセル」なら何も送信せずに終わる。
+ 3. 了承された場合だけ、ページを画像化して送信する。
+ """
+ try:
+ api_key = get_api_key()
+ except AiOcrError as exc:
+ messagebox.showerror("外部AIの設定エラー", str(exc))
+ return None
+
+ model = resolve_model()
+ if not messagebox.askokcancel(
+ SEND_CONFIRMATION_TITLE,
+ SEND_CONFIRMATION_TITLE,
+ detail=build_send_confirmation_message(model),
+ icon="warning",
+ default="cancel", # Enterキーを押しただけで送信されないよう、既定は「キャンセル」
+ ):
+ self.status_var.set("外部AIへの送信をキャンセルしました(何も送信していません)。")
+ return None
+
+ self.status_var.set("外部AIで読み取っています(通信中)...")
+ self.update_idletasks()
+ try:
+ result = ai_ocr_pdf_page(
+ self.preview.document,
+ self.preview.page_number,
+ client=self._create_ai_client(api_key),
+ model=model,
+ )
+ except (AiOcrError, PdfLoadError) as exc:
+ messagebox.showerror("外部AIエラー", str(exc))
+ return None
+ return result.words, "ai"
+
+ def _create_ai_client(self, api_key: str) -> object:
+ """外部AIのクライアントを作る(スクリーンショット撮影時などに差し替えられるよう分けている)。"""
+ return create_client(api_key)
+
def _on_detect_text(self) -> None:
"""表示中のページの文字を検出し、検出枠をプレビューに重ねて表示する。
@@ -208,7 +293,7 @@ class MainWindow(ttk.Frame):
if not words:
self.status_var.set(
"このページからは文字を検出できませんでした"
- "(埋め込み文字なし・OCRでも検出なし、またはTesseract未インストールです)。"
+ "(埋め込み文字なし・OCR/外部AIでも検出なし、またはTesseract未インストールです)。"
)
else:
self.status_var.set(
@@ -220,7 +305,12 @@ class MainWindow(ttk.Frame):
検出した単語すべて(赤枠)と部屋名候補(青枠)の両方を重ねて表示する
ことで、「どれが除外されたか」も画面上で分かるようにしている。
- OCRの結果も、埋め込み文字と同じ部屋名辞書・文字サイズの範囲で絞り込む。
+
+ 外部AIの結果も、第3回の部屋名辞書で照合してから青枠にする。AIが辞書に
+ 無い語(読み違い・推測で補った語を含む)を返しても、青枠にはならず赤枠
+ だけで残るため、人が見て気付ける。ただしAIが返す座標はおおよその値で、
+ 枠の高さから求めた文字サイズも当てにならないため、外部AIの結果に限って
+ 文字サイズでの足切りは行わない。
"""
if self._room_dictionary is None:
return
@@ -232,7 +322,12 @@ class MainWindow(ttk.Frame):
def _show_room_candidates(self, words: list[ExtractedWord], source: str) -> None:
if self._room_dictionary is None:
return
- candidates = filter_room_candidates(words, self._room_dictionary)
+ if source == "ai":
+ candidates = filter_room_candidates(
+ words, self._room_dictionary, min_font_size=0.0, max_font_size=float("inf")
+ )
+ else:
+ candidates = filter_room_candidates(words, self._room_dictionary)
self.preview.show_word_boxes(words)
self.preview.show_room_candidates(candidates)
self.status_var.set(
Anthropic公式のPython SDKを追加します。
requirements.txt に次の変更を加えます(+ が追加、- が削除)。
--- a/requirements.txt
+++ b/requirements.txt
@@ -20,3 +20,9 @@ pytesseract==0.3.13
# 第4回〜:OCRに渡す画像の受け渡し(import PIL)。pytesseractの依存としても入るが、
# app/core/ocr_local.py が直接importするため明示的に固定する(2026-01-02公開)。
Pillow==12.1.0
+
+# 第5回〜:外部マルチモーダルAI(Anthropic Claude の Messages API・画像入力)で部屋名を
+# 読み取る(import anthropic。2026-01-29公開)。APIキーは環境変数 ANTHROPIC_API_KEY から
+# 読む(.env.example 参照。実際のキーはリポジトリに含めない)。外部AIは画面で明示的に
+# 選んだときだけ使い、既定はローカル完結。
+anthropic==0.77.0
pip install anthropic==0.77.0
環境変数の名前の一覧として .env.example を置きます(値は書きません。このアプリは .env ファイルを自動では読み込まないので、値はOSの環境変数として設定します)。
.env.example を新しく作ります(全文)。
# .env.example
# 外部AIモード(第5回〜)で使う環境変数の例。実際の値はこのファイルに書かず、
# OSの環境変数として設定してください(このファイルはキー名の一覧です)。
# Anthropic のAPIキー(Claude Console で発行)。値はコミットしないこと
ANTHROPIC_API_KEY=
# 使用するモデルID(空なら既定の claude-haiku-4-5-20251001)
MADORI_OCR_AI_MODEL=
外部AIのテストです。実際のAPIは呼ばず、messages.create() を持つダミーのクライアントを渡して、送信内容・応答のパース・エラー処理を確かめます。APIキーは要りません。
tests/test_ocr_ai.py を新しく作ります(全文)。
tests/test_ocr_ai.py の全文(300行)
# tests/test_ocr_ai.py
"""`app/core/ocr_ai.py` のテスト。
実際のAPI(Anthropic Claude)は呼ばない。APIキーが無い環境でも動くように、
`messages.create()` を持つダミーのクライアントを渡して、次の3点を検証する。
1. 送信するリクエストの中身(画像がBase64の image ブロックで入る、指示文に
「部屋名だけをJSONで」が入る、画像が長辺の上限以内に縮小される)
2. 応答JSONのパース(正常・前後に説明文・コードフェンス付き・JSON崩れ・
項目単位の不正値)とPDF座標への変換
3. APIキー未設定・APIエラー時に分かりやすいエラーになること
"""
from __future__ import annotations
import base64
import io
from pathlib import Path
from types import SimpleNamespace
from typing import Any
import anthropic
import fitz
import httpx
import pytest
from PIL import Image
from app.core import ocr_ai
from app.core.ocr_ai import (
DEFAULT_AI_MODEL,
ENV_API_KEY,
ENV_MODEL,
SEND_CONFIRMATION_TITLE,
AiApiKeyMissingError,
AiOcrError,
AiResponseFormatError,
ai_ocr_image,
ai_ocr_pdf_page,
build_request,
build_send_confirmation_message,
get_api_key,
parse_ai_response,
prepare_image,
resolve_model,
)
from app.core.pdf_loader import PdfDocument
class FakeMessages:
"""`client.messages` の代わり。受け取った引数を記録し、決めた応答(または例外)を返す。"""
def __init__(self, response_text: str = "", *, error: Exception | None = None, stop_reason: str = "end_turn"):
self.response_text = response_text
self.error = error
self.stop_reason = stop_reason
self.calls: list[dict[str, Any]] = []
def create(self, **kwargs: Any) -> SimpleNamespace:
self.calls.append(kwargs)
if self.error is not None:
raise self.error
return SimpleNamespace(
content=[SimpleNamespace(type="text", text=self.response_text)],
stop_reason=self.stop_reason,
usage=SimpleNamespace(input_tokens=1234, output_tokens=56),
)
class FakeClient:
def __init__(self, messages: FakeMessages):
self.messages = messages
def _white_image(width: int = 400, height: int = 300) -> Image.Image:
return Image.new("RGB", (width, height), "white")
def _status_error(cls: type[anthropic.APIStatusError], status: int) -> anthropic.APIStatusError:
request = httpx.Request("POST", "https://api.anthropic.com/v1/messages")
return cls("error", response=httpx.Response(status, request=request), body=None)
# --- 1. 送信するリクエスト ----------------------------------------------
def test_build_request_puts_base64_png_image_before_prompt() -> None:
prepared = prepare_image(_white_image(), base_scale=1.0)
request = build_request(prepared, model="test-model")
assert request["model"] == "test-model"
content = request["messages"][0]["content"]
assert request["messages"][0]["role"] == "user"
assert [block["type"] for block in content] == ["image", "text"]
source = content[0]["source"]
assert source["type"] == "base64"
assert source["media_type"] == "image/png"
decoded = base64.standard_b64decode(source["data"])
assert decoded.startswith(b"\x89PNG")
assert "\n" not in source["data"]
def test_prompt_asks_for_room_names_only_as_json_with_image_size() -> None:
prepared = prepare_image(_white_image(400, 300), base_scale=1.0)
prompt = build_request(prepared, model="m")["messages"][0]["content"][1]["text"]
assert "部屋名だけをJSONで" in prompt
assert '"rooms"' in prompt
assert "幅400px・高さ300px" in prompt
assert "寸法" in prompt # 除外してほしいものも明示している
def test_prepare_image_downscales_long_edge_and_adjusts_scale() -> None:
prepared = prepare_image(_white_image(3000, 1500), base_scale=2.0, max_long_edge=1500)
assert (prepared.width, prepared.height) == (1500, 750)
assert prepared.scale == pytest.approx(1.0) # 2.0 × 縮小率0.5
with Image.open(io.BytesIO(base64.standard_b64decode(prepared.png_base64))) as img:
assert img.size == (1500, 750)
def test_prepare_image_keeps_small_image_size() -> None:
prepared = prepare_image(_white_image(800, 600), base_scale=150 / 72)
assert (prepared.width, prepared.height) == (800, 600)
assert prepared.scale == pytest.approx(150 / 72)
def test_prepare_image_rejects_invalid_long_edge() -> None:
with pytest.raises(ValueError):
prepare_image(_white_image(), base_scale=1.0, max_long_edge=0)
def test_ai_ocr_image_sends_one_request_with_resolved_model(monkeypatch: pytest.MonkeyPatch) -> None:
monkeypatch.setenv(ENV_MODEL, "claude-test-model")
messages = FakeMessages('{"rooms": []}')
result = ai_ocr_image(_white_image(), base_scale=1.0, client=FakeClient(messages))
assert len(messages.calls) == 1
assert messages.calls[0]["model"] == "claude-test-model"
assert result.model == "claude-test-model"
assert result.words == []
assert (result.input_tokens, result.output_tokens) == (1234, 56)
assert result.elapsed_seconds >= 0
# --- 2. 応答JSONのパース -------------------------------------------------
def test_parse_plain_json_converts_pixels_to_pdf_coordinates() -> None:
text = '{"rooms": [{"name": "居間", "bbox": [100, 200, 160, 230]}, {"name": "寝室1", "bbox": [300, 200, 380, 230]}]}'
words = parse_ai_response(text, image_width=1000, image_height=1000, scale=2.0, page_number=1)
assert [w.text for w in words] == ["居間", "寝室1"]
assert words[0].bbox == pytest.approx((50.0, 100.0, 80.0, 115.0))
assert words[0].font_size == pytest.approx(15.0)
assert all(w.page_number == 1 for w in words)
def test_parse_json_inside_code_fence_with_explanation() -> None:
text = 'はい、抽出しました。\n```json\n{"rooms": [{"name": "キッチン", "bbox": [10, 10, 50, 30]}]}\n```\n以上です。'
words = parse_ai_response(text, image_width=100, image_height=100, scale=1.0)
assert [w.text for w in words] == ["キッチン"]
def test_parse_json_with_leading_text_without_fence() -> None:
text = '部屋名は次のとおりです: {"rooms": [{"name": "洗面所", "bbox": [0, 0, 10, 10]}]}'
words = parse_ai_response(text, image_width=100, image_height=100, scale=1.0)
assert [w.text for w in words] == ["洗面所"]
def test_parse_empty_rooms() -> None:
assert parse_ai_response('{"rooms": []}', image_width=10, image_height=10, scale=1.0) == []
@pytest.mark.parametrize(
"text",
[
"部屋名は居間と寝室です。", # JSONが無い
'{"rooms": [{"name": "居間", "bbox": [1, 2, 3, 4]}', # 閉じ括弧が足りない(途中で切れた)
'{"result": []}', # 指示と違うキー
'{"rooms": "居間"}', # roomsがリストでない
"",
],
)
def test_parse_broken_response_raises_format_error(text: str) -> None:
with pytest.raises(AiResponseFormatError):
parse_ai_response(text, image_width=100, image_height=100, scale=1.0)
def test_parse_skips_invalid_items_but_keeps_valid_ones() -> None:
text = """{"rooms": [
{"name": "居間", "bbox": [10, 10, 40, 30]},
{"name": "", "bbox": [10, 10, 40, 30]},
{"name": "寝室1"},
{"name": "洋室2", "bbox": [10, 10, 40]},
{"name": "和室", "bbox": ["a", 1, 2, 3]},
{"name": "玄関", "bbox": [500, 500, 600, 600]},
"トイレ",
{"name": " 浴室 ", "bbox": [90, 90, 150, 120]}
]}"""
words = parse_ai_response(text, image_width=100, image_height=100, scale=1.0)
assert [w.text for w in words] == ["居間", "浴室"]
# 画像の外にはみ出した座標は画像の範囲に切り詰める
assert words[1].bbox == pytest.approx((90.0, 90.0, 100.0, 100.0))
def test_parse_normalizes_reversed_bbox() -> None:
words = parse_ai_response(
'{"rooms": [{"name": "居間", "bbox": [40, 30, 10, 10]}]}', image_width=100, image_height=100, scale=1.0
)
assert words[0].bbox == pytest.approx((10.0, 10.0, 40.0, 30.0))
def test_ai_ocr_image_raises_when_response_truncated() -> None:
messages = FakeMessages('{"rooms": [', stop_reason="max_tokens")
with pytest.raises(AiResponseFormatError, match="max_tokens"):
ai_ocr_image(_white_image(), base_scale=1.0, client=FakeClient(messages), model="m")
def test_ai_ocr_pdf_page_returns_words_in_pdf_coordinates(tmp_path: Path) -> None:
pdf_path = tmp_path / "blank_a4.pdf"
doc = fitz.open()
doc.new_page(width=595, height=842)
doc.save(pdf_path)
doc.close()
# A4・150dpi(1240×1754px)は長辺1568pxに縮小されて送られる
messages = FakeMessages('{"rooms": [{"name": "居間", "bbox": [100, 100, 200, 140]}]}')
with PdfDocument(pdf_path) as document:
result = ai_ocr_pdf_page(document, 0, client=FakeClient(messages), model="m")
prompt = messages.calls[0]["messages"][0]["content"][1]["text"]
assert "高さ1568px" in prompt
scale = (150 / 72) * (1568 / 1754)
assert result.words[0].bbox == pytest.approx((100 / scale, 100 / scale, 200 / scale, 140 / scale), rel=1e-3)
assert result.words[0].bbox[2] < 595
# --- 3. APIキー・エラー処理 ----------------------------------------------
def test_get_api_key_missing_gives_clear_message() -> None:
with pytest.raises(AiApiKeyMissingError) as excinfo:
get_api_key({})
assert ENV_API_KEY in str(excinfo.value)
assert "ローカル" in str(excinfo.value)
def test_get_api_key_blank_is_treated_as_missing() -> None:
with pytest.raises(AiApiKeyMissingError):
get_api_key({ENV_API_KEY: " "})
def test_get_api_key_reads_environment() -> None:
assert get_api_key({ENV_API_KEY: "dummy-key-for-test"}) == "dummy-key-for-test"
def test_ai_ocr_image_without_client_and_key_fails_before_sending(monkeypatch: pytest.MonkeyPatch) -> None:
monkeypatch.delenv(ENV_API_KEY, raising=False)
def _must_not_be_called(api_key: str) -> None:
raise AssertionError("APIキーが無いのにクライアントを作ろうとした")
monkeypatch.setattr(ocr_ai, "create_client", _must_not_be_called)
with pytest.raises(AiApiKeyMissingError):
ai_ocr_image(_white_image(), base_scale=1.0)
def test_resolve_model_default_and_override() -> None:
assert resolve_model({}) == DEFAULT_AI_MODEL == "claude-haiku-4-5-20251001"
assert resolve_model({ENV_MODEL: " other-model "}) == "other-model"
@pytest.mark.parametrize(
("error", "expected"),
[
(_status_error(anthropic.AuthenticationError, 401), "APIキーが無効"),
(_status_error(anthropic.PermissionDeniedError, 403), "権限"),
(_status_error(anthropic.NotFoundError, 404), ENV_MODEL),
(_status_error(anthropic.RateLimitError, 429), "レート制限"),
(_status_error(anthropic.InternalServerError, 500), "HTTP 500"),
(
anthropic.APIConnectionError(request=httpx.Request("POST", "https://api.anthropic.com/v1/messages")),
"接続できません",
),
],
)
def test_api_errors_are_converted_to_readable_messages(error: Exception, expected: str) -> None:
messages = FakeMessages(error=error)
with pytest.raises(AiOcrError, match=expected):
ai_ocr_image(_white_image(), base_scale=1.0, client=FakeClient(messages), model="m")
def test_confirmation_message_mentions_external_send_and_model() -> None:
message = build_send_confirmation_message("claude-test")
assert "外部サービス" in SEND_CONFIRMATION_TITLE
assert "Claude API" in message
assert "claude-test" in message
assert "秘密保持" in message
動かしてみる
pytest
ruff check .
python -m app.main
pytest で「113 passed」と表示されれば完了です。アプリで「外部AI」を選んで「3.」か「4.」を押すと、APIキーが未設定なら送信前にエラーが表示されます。実際にAPIを呼ぶ場合は、Claude ConsoleでAPIキーを発行し、同じコマンドプロンプトで環境変数を設定してから起動します(キーはコード・ファイルに書かないでください)。送信確認のダイアログで「OK」を押したときだけ図面画像が送られ、利用料金がかかります。
set ANTHROPIC_API_KEY=(発行したAPIキー)
python -m app.main
REM Linux・macOS の場合:export ANTHROPIC_API_KEY=(発行したAPIキー)
動作確認の方法
Linux開発環境で確認できたこと
pytest:合計113件が成功(うちtests/test_ocr_ai.pyが新規31件)。実際のAPIは呼ばず、ダミーのクライアントで次を検証しました- 送信内容:画像がBase64のPNGで入ること、指示文に「部屋名だけをJSONで」と画像サイズが入ること、A4のページが長辺1568ピクセルに縮小されること
- 応答の読み取り:正常なJSON、前置き付き、コードフェンス付き、途中で切れたもの、キー違い、一部だけ不正な値
- エラー:APIキー未設定なら通信前に止まること、401・403・404・429・500・通信エラーの各メッセージ
ruff check .:エラーなし- 画面の配線(Xvfb上):キー未設定ならエラーで止まり確認ダイアログも出ないこと、「キャンセル」なら送信関数が呼ばれないこと、「OK」ならダミー応答の部屋名が赤枠・青枠で表示されること
開発環境(Linux/Xvfb上・Ubuntu標準のTkテーマ)で「外部AI」を選び「4. 部屋名候補だけを絞り込んでハイライト」を押したときの確認ダイアログです。Windows実機では見た目が異なります。撮影時はダミーのキーを使い「キャンセル」を押したため、何も送信していません。

確認できていないこと(APIキーが必要なため、この記事の環境では未実施)
- 実際のAPIでの精度(何件中何件正しいか、座標のずれ)、処理時間、消費トークン数
- Windows実機での見た目と、プロキシ環境下での接続
試すときのために、結果の AiOcrResult にはモデル名・入出力のトークン数・処理時間を記録しています。料金はトークン数に公式の単価を掛けて見積もれます。
ローカルOCRと外部AIの比較の観点
外部AIは未測定のため、比べる観点を整理します。ローカルOCRの数字は第4回の実測(架空サンプル図面)です。
| 観点 | ローカルOCR(第4回) | 外部AI(今回) |
|---|---|---|
| 精度 | きれいな図面で7件中7件。粗いスキャン・傾きで取りこぼし | 文脈で部屋名を選べる分、OCRが苦手な図面で効く可能性。読み違い・座標のずれはありうる |
| コスト | 利用料なし | 画像・指示文・応答の量(トークン数)に応じて課金 |
| 処理時間 | 1ページ約0.2秒(A4・150dpi) | 通信と混雑状況に左右される |
| 情報漏えいリスク | 図面はPCの外に出ない | 図面が社外に送られる。扱いは規約次第 |
比べるときは、自社の代表的な図面(特に状態の悪いスキャン)で、両方の正解数・処理時間・料金を並べるのが確実です。
つまずきやすい点・セキュリティ上の注意
- APIキーをコード・Gitに載せない:漏れると第三者に利用料金を使われるおそれがあります。漏れた疑いがあればすぐ管理画面で無効化します
- 「JSONだけ」と頼んでも崩れる前提で読む:前置き・コードブロック・途中切れを想定します
- 座標はおおよその値:公式ドキュメントでも位置の出力はおおよそとされています。第6回の確認画面で人が確かめる前提です
- 送信は利用者が毎回確認する:既定ボタンを「キャンセル」にし、Enterの押し間違いで送らないようにしました。一括処理(第9回)では確認方法を改めて設計します
発注者向けメモ
この回で確認しておきたいこと・工数の勘所
外部AIを使うと、顧客の建物情報を含む図面を社外のサービスに送信することになります。精度や費用より先に、送ってよいかの判断が必要です。顧客との契約や秘密保持契約(NDA)で第三者への提供が制限されていないかを確認し、迷う場合は法務担当や弁護士に相談してください。
送信データの扱い(保存期間、AIの学習に使われるかなど)は、サービスや契約の種類で異なり、改定もありえます。提供元の公式の利用規約・プライバシーポリシーで、利用時点の内容を確認してください。
📰 出典:Commercial Terms of Service(Anthropic)
OCR特化サービスを選べば部屋名の判断は自前のルール(辞書など)で作り込み、生成AIを選べば出力の崩れ対策と結果確認が要る、というように、どちらを選ぶかで開発の中身も変わります。
- ☐ 図面を社外のサービスへ送ってよいか、顧客との契約・秘密保持の取り決めを確認したか
- ☐ 利用するAIサービスの規約で、送信データの保存・学習利用の扱いを確認したか
- ☐ 外部AIを「使わない」運用(ローカルのみ)も選べるようにしておくか決めたか
- ☐ 代表的な図面で、ローカルOCRと外部AIの精度・処理時間・料金を比べる試験を依頼したか
- ☐ APIキーの管理者と、利用料金の上限・請求先を決めたか
開発会社への質問例
- 「図面画像はどこへ送られ、送信先ではどのように保存・利用されますか?根拠となる規約の該当箇所も教えてください」
- 「外部AIを使わない設定にした場合、図面が社外へ送られないことはどのように確認できますか?」
- 「当社の図面で、ローカルOCRと外部AIの精度・1ページあたりの料金を比べた結果を見せてもらえますか?」
まとめと次回予告
第5回では、図面画像をClaude APIに送り部屋名をJSONで受け取る app/core/ocr_ai.py を実装しました。画像の事前縮小、崩れに強いJSONの読み取り、種類別のエラーメッセージ、既定はローカルのまま送信前に必ず確認する画面がポイントです。実際の精度は、APIキーのある環境で自社の図面を使って確かめてください。
次回(第6回)は「検出結果を人がその場で確認・修正できる画面にする」です。読み取った部屋名を図面上の位置と並べて確認し、誤りをクリックで直せる画面を作ります。
この連載の記事一覧
この記事は連載「CAD図面PDFをExcelへ自動転記するツール開発」の1回です。連載のほかの回は次のとおりです(連載の一覧ページ)。
- 【CAD図面PDFをExcelへ自動転記するツール開発 第0回】要件整理とPython開発環境、tkinterの最初の画面を作る
- 【CAD図面PDFをExcelへ自動転記するツール開発 第1回】PyMuPDFで図面PDFを画面にプレビュー表示する
- 【CAD図面PDFをExcelへ自動転記するツール開発 第2回】PyMuPDFで図面の文字を座標付きで抽出し、プレビューにハイライト表示する
- 【CAD図面PDFをExcelへ自動転記するツール開発 第3回】部屋名辞書とヒューリスティックで「部屋名らしき文字列」だけを絞り込む
- 【CAD図面PDFをExcelへ自動転記するツール開発 第4回】スキャン図面・画像PDFの部屋名をローカルOCR(Tesseract)で読み取る
- 【CAD図面PDFをExcelへ自動転記するツール開発 第5回】外部AI(Claude)の画像解析で図面の部屋名を読み取り、精度を底上げする(この記事)
- 【CAD図面PDFをExcelへ自動転記するツール開発 第6回】AI・OCRの読み取り結果を人が確認・修正する画面を作る
- 【CAD図面PDFをExcelへ自動転記するツール開発 第7回】確認済みの部屋名を指定のExcelフォーマットの決まった欄へ転記する
- 【CAD図面PDFをExcelへ自動転記するツール開発 第8回】部屋名とExcelの欄の対応付けを設定ファイル(YAML)で変えられるようにする
- 【CAD図面PDFをExcelへ自動転記するツール開発 第9回】複数の図面PDFをフォルダごとまとめて処理する(進捗表示・中止・失敗しても止まらない一括処理)
- 【CAD図面PDFをExcelへ自動転記するツール開発 第10回】ローカル完結モードと外部AIモードを切り替え、APIキーをWindowsの資格情報マネージャーに保存する
- 【CAD図面PDFをExcelへ自動転記するツール開発 第11回(最終回)】PyInstallerでWindows向けexeにまとめて配布し、精度の限界と確認のルールを整理する


コメント
コメント一覧 (2件)
[…] 前回(第5回)では、図面画像を外部AI(Claude)に送って部屋名を読み取る方式を追加しました。これで「埋め込み文字」「ローカルOCR」「外部AI」の3つの読み取り方式がそろいましたが、どの方式も読み違いや取りこぼしはゼロになりません。 […]
[…] 次回(第5回)は「外部AIの画像解析で部屋名認識の精度を底上げする」です。画像を理解できる生成AIに図面画像を渡し、部屋名だけを構造化データで受け取るapp/core/ocr_ai.pyを作り、今回のローカルOCRと精度・処理時間・コスト・情報漏えいリスクを比べます。 […]