(2026年10月29日 追記:記事どおりに再現できるよう、必要なコードと手順を追加しました)
前回(第1回)では、CAD図面PDFの部屋名をExcelへ自動転記するWindows向けツールの第一歩として、選んだPDFのページをPyMuPDFで画像化し、画面のCanvas上にプレビュー表示するところまで作りました。ページ送り・拡大縮小はできますが、この時点では「人が図面を目で見て確認できる」だけで、部屋名を自動で読み取る処理はまだありません。
第2回の今回は、図面PDFに埋め込まれた文字そのものを取り出します。CADソフトから書き出したPDFの多くは、線や文字が座標データ(ベクターデータ)として保存されており、文字も「画像」ではなく「実際の文字情報」として埋め込まれています。この文字情報を位置(バウンディングボックス)とフォントサイズ付きで抽出し、前回のプレビュー画面の上に検出枠として重ねて表示するところまでが今回のゴールです。部屋名かどうかの判定はまだ行わず、「文字として認識できたもの」をすべてハイライトします。
今回作る機能と完成イメージ
今回できることは次の2つです。
- 表示中の図面ページに埋め込まれた文字を、1単語ずつ座標・フォントサイズ付きで取得する
- 「文字を検出してハイライト」ボタンを押すと、検出できた単語の位置に赤い矩形(検出枠)がプレビュー画像の上に重なって表示される
「居間」「寝室1」のような部屋名らしき文字列と、「W=3640」のような寸法値らしき文字列は今回はまだ区別せず、両方とも同じように検出枠で囲われます。ノイズを除外して部屋名候補だけに絞り込む処理は、次回(第3回)で辞書とヒューリスティックを使って実装します。
仕組みの説明:PDFから「文字の位置」をどう取り出すか
前回、PDFのページを画像化するのにget_pixmap()を使いましたが、PyMuPDFにはページの中身を「文字情報」として取り出すget_text()もあります。option引数で形式を切り替えられ、今回はそのうち2つを組み合わせます。
| 取り出し方 | 得られるもの | 弱点 |
|---|---|---|
get_text("words") | 単語ごとの位置(バウンディングボックス)と文字列の一覧 | フォントサイズは含まれない |
get_text("dict") | 「ブロック→行→span(同じ書式が続く区間)」という階層構造。spanにはフォントサイズが入っている | spanは空白で単語ごとに区切られているとは限らない(例:「寝室1 洋室2」のように空白区切りの2単語が1つのspanに収まることがある) |
この2つには長所と短所があるため、今回は両方を組み合わせました。get_text("words")が返す各単語には(block_no, line_no, word_no)という番号が付いており、これは同じページのget_text("dict")が返すblocks[block_no]["lines"][line_no]にそのまま対応します(どちらも内部的には同じ「テキストページ」というデータから作られているため)。そこで、単語のx座標と行内の各spanのx座標を比べ、最も重なりが大きいspanのフォントサイズを採用します。
| 用語 | かんたんな意味 |
|---|---|
| バウンディングボックス(bbox) | 文字や単語を囲む最小の四角形の座標。「どこに書かれているか」を表す |
| span(スパン) | PDF内部で、同じフォント・同じサイズが連続する文字の区間 |
今回実装した処理の流れは次のとおりです。
page.get_text("words")で、単語ごとの位置と文字列の一覧を取得する。単語の区切りはPyMuPDFの既定(空白文字)に従う- 単語が1件もなければ空リストを返す。文字が埋め込まれていない(スキャン画像だけの)ページである可能性が高く、その対応(ローカルOCR)は第4回で扱う
page.get_text("dict")で、ページ内の文字を階層構造として取得する- 単語ごとに、対応する行の中でx座標が最も重なるspanを探し、そのフォントサイズを単語のフォントサイズとして採用する
- 抽出した単語(文字列・bbox・フォントサイズ・ページ番号)をプレビュー画面(Canvas)に渡す。Canvas側は、画像化のときに使ったのと同じ倍率をbboxに掛けて、検出枠をピクセル座標に変換して描画する
1〜4は前回同様GUIに依存しない「コア処理」としてapp/core/text_extractor.pyに実装し、5だけがGUI(app/ui/preview_canvas.py)側の処理です。
実装
ファイル構成(第2回時点の差分)
madori-ocr/
├ app/
│ ├ core/
│ │ ├ pdf_loader.py … 【今回変更】fitz.Pageを取得するget_page()を追加
│ │ └ text_extractor.py … 【今回追加】単語・座標・フォントサイズを取得するコア処理
│ └ ui/
│ ├ main_window.py … 【今回変更】「文字を検出してハイライト」ボタンを追加
│ └ preview_canvas.py … 【今回変更】検出枠(矩形)の描画を追加
├ tests/
│ └ test_text_extractor.py … 【今回追加】
├ requirements.txt … 変更なし(PyMuPDFは第1回で追加済み)
└ pytest.ini
コア処理:ページから単語を抽出する(app/core/text_extractor.py)
app/core/text_extractor.py を新しく作ります(全文)。
app/core/text_extractor.py の全文(114行)
# app/core/text_extractor.py
"""CAD図面PDFに埋め込まれたベクター文字を、座標・フォントサイズ付きの単語として取り出すコア処理。
`app/core/pdf_loader.py` の `PdfDocument` に依存するが、PyMuPDF(`fitz`)以外の
ライブラリには依存しないため、tkinterなどGUIライブラリはimportしない
(第0回から続く「コア処理はGUI非依存にし、pytestで自動検証する」という方針)。
PyMuPDFの `Page.get_text()` は `option` 引数で取り出す形式を切り替えられる。
このモジュールでは次の2つを組み合わせて使う。
- `get_text("words")`: 単語ごとの位置(バウンディングボックス)と文字列の一覧を返す。
ただし各単語にフォントサイズは含まれない。
- `get_text("dict")`: ページ内のテキストを「ブロック→行→span(同じ書式が続く区間)」
という階層構造で返す。各spanにはフォントサイズ(`size`)が含まれるが、
span自体は空白で単語ごとに分かれているとは限らない
(例: 「寝室1 洋室2」のように空白区切りの複数単語が1つのspanに収まることがある)。
そこで、`get_text("words")` が返す各単語の `(block_no, line_no)` を使って
`get_text("dict")` の該当する行(同じテキストページから作られているため、
ブロック番号・行番号はそのまま対応する)を辿り、その行の中で単語のx座標に
最も重なるspanのフォントサイズを採用する。1行に複数のフォントサイズが混在する
図面(例: 部屋名の隣に小さい寸法値が並ぶ)でも、単語ごとに正しいサイズを
拾えるようにするための工夫である。
単語の区切りはPyMuPDFの既定(空白文字)に従う。CADソフト由来の図面PDFでは、
部屋名(「居間」「寝室1」等)が前後に空白を挟んで独立したテキストとして
挿入されていることが多く、この分割方法で実用上十分なことが多い。ただし、
部屋名と寸法値・符号が空白を挟まず1つのテキストとして挿入されている図面では、
期待通りに分割されない場合がある(記事の「つまずきやすい点」で明記する)。
"""
from __future__ import annotations
from dataclasses import dataclass
from app.core.pdf_loader import PdfDocument
@dataclass(frozen=True)
class ExtractedWord:
"""ページから抽出した単語1件分の情報。"""
#: 単語の文字列
text: str
#: 単語のバウンディングボックス(PDF座標系。左上原点・ポイント単位・(x0, y0, x1, y1))
bbox: tuple[float, float, float, float]
#: 単語を含むテキストのフォントサイズ(ポイント単位)。判定できなかった場合は0.0
font_size: float
#: 単語が含まれるページ番号(0始まり)
page_number: int
def extract_words(document: PdfDocument, page_number: int) -> list[ExtractedWord]:
"""指定ページのベクター文字を、座標・フォントサイズ付きの単語リストとして取得する。
ページ番号の範囲チェックは `PdfDocument.get_page()` に委譲している
(不正な場合は `PdfLoadError` が送出される)。
テキストが埋め込まれていないページ(スキャン画像のみの図面など)の場合は、
空のリストを返す。そうしたページへの対応(ローカルOCR)は第4回で実装する。
"""
page = document.get_page(page_number)
word_tuples = page.get_text("words")
if not word_tuples:
return []
text_dict = page.get_text("dict")
blocks = text_dict.get("blocks", [])
words: list[ExtractedWord] = []
for x0, y0, x1, y1, text, block_no, line_no, _word_no in word_tuples:
font_size = _find_font_size(blocks, block_no, line_no, word_x0=x0, word_x1=x1)
words.append(
ExtractedWord(
text=text,
bbox=(x0, y0, x1, y1),
font_size=font_size,
page_number=page_number,
)
)
return words
def _find_font_size(
blocks: list[dict],
block_no: int,
line_no: int,
*,
word_x0: float,
word_x1: float,
) -> float:
"""単語の属する行の中から、x方向の重なりが最大のspanのフォントサイズを返す。
`get_text("words")` の `block_no` / `line_no` は、同じページの
`get_text("dict")` が返す `blocks[block_no]["lines"][line_no]` にそのまま
対応する(どちらも同じ内部のテキストページから作られているため)。
該当する行・spanが見つからない場合は0.0を返す(呼び出し側で「サイズ不明」
として扱える値にしておく)。
"""
try:
spans = blocks[block_no]["lines"][line_no]["spans"]
except (IndexError, KeyError):
return 0.0
best_size = 0.0
best_overlap = -1.0
for span in spans:
span_x0, _span_y0, span_x1, _span_y1 = span["bbox"]
overlap = min(word_x1, span_x1) - max(word_x0, span_x0)
if overlap > best_overlap:
best_overlap = overlap
best_size = span["size"]
return best_size
ページ番号の範囲チェックは、PdfDocumentに今回追加したget_page()にそのまま任せています。不正なページ番号を渡すと前回と同じPdfLoadErrorが送出されます。
ページ範囲のチェックを _validate_page_number() に切り出し、get_page() と render_page() の両方から使うようにしました。
app/core/pdf_loader.py に次の変更を加えます(+ が追加、- が削除)。
--- a/app/core/pdf_loader.py
+++ b/app/core/pdf_loader.py
@@ -82,17 +82,31 @@ class PdfDocument:
"""PDFの総ページ数。"""
return self._document.page_count
+ def _validate_page_number(self, page_number: int) -> None:
+ if not 0 <= page_number < self.page_count:
+ raise PdfLoadError(
+ f"ページ番号が範囲外です: {page_number}"
+ f"(0〜{self.page_count - 1}の範囲で指定してください)"
+ )
+
+ def get_page(self, page_number: int) -> fitz.Page:
+ """指定ページの `fitz.Page` を返す。
+
+ `app/core/text_extractor.py` など、画像化以外の用途でページの中身
+ (ベクター文字など)に直接アクセスしたいコア処理向けの窓口。
+ 戻り値はPyMuPDFのオブジェクトのため、呼び出し側もPyMuPDFのAPIを
+ 直接扱うことになる(GUIからは使わず、`app/core/` 内でのみ使う想定)。
+ """
+ self._validate_page_number(page_number)
+ return self._document.load_page(page_number)
+
def render_page(self, page_number: int, *, zoom: float = 1.0, dpi: int = DEFAULT_DPI) -> RenderedPage:
"""指定ページを画像化して `RenderedPage` を返す。
`zoom` はページ送り後にユーザーが行う拡大縮小操作の倍率(1.0が等倍)。
`dpi` はプレビューの基準解像度で、通常は既定値のまま使う想定。
"""
- if not 0 <= page_number < self.page_count:
- raise PdfLoadError(
- f"ページ番号が範囲外です: {page_number}"
- f"(0〜{self.page_count - 1}の範囲で指定してください)"
- )
+ self._validate_page_number(page_number)
if not MIN_ZOOM <= zoom <= MAX_ZOOM:
raise PdfLoadError(f"拡大率は{MIN_ZOOM}〜{MAX_ZOOM}の範囲で指定してください: {zoom}")
if dpi <= 0:
GUI部品:検出枠のハイライト表示(app/ui/preview_canvas.py)
前回作ったPreviewCanvasに、検出した単語を受け取って矩形を描画するshow_word_boxes()を追加しました。座標変換が今回のポイントです。前回、ページ画像化には(dpi / 72.0) * zoomという倍率を使いました。検出枠のbboxはPDF座標(ポイント単位)なので、同じ倍率を掛けるだけで画像上のピクセル位置とずれずに重ねられます。
app/ui/preview_canvas.py に次の変更を加えます(+ が追加、- が削除)。
app/ui/preview_canvas.py の差分(125行)
--- a/app/ui/preview_canvas.py
+++ b/app/ui/preview_canvas.py
@@ -7,9 +7,17 @@
(`app/ui/main_window.py`)は `PreviewCanvas.load_pdf(path)` を呼ぶだけで
使えるようにする。
+第2回では、`app/core/text_extractor.py` が抽出した単語(`ExtractedWord`)の
+バウンディングボックスを、表示中のページ画像に重ねて矩形(検出枠)で描画する
+`show_word_boxes()` を追加した。座標の変換は、PDF座標(ポイント単位)に
+「画像化で使ったのと同じ倍率」を掛けるだけで済む。`render_page()` は
+`(dpi / 72.0) * zoom` をスケール値として画像化しているため、検出枠も同じ
+スケール値をPDF座標に掛ければ、画像上のピクセル位置とずれずに重ねられる。
+
このモジュール自体はtkinterに依存するため、pytestでの自動検証はしない
-(連載の方針:GUIはWindows実機で確認する)。表示対象の画像を作るロジックは
-`app/core/pdf_loader.py` に切り出してあり、そちらはpytestで検証済み。
+(連載の方針:GUIはWindows実機で確認する)。表示対象の画像を作るロジック・
+単語抽出ロジックはそれぞれ `app/core/pdf_loader.py` ・ `app/core/text_extractor.py`
+に切り出してあり、そちらはpytestで検証済み。
"""
from __future__ import annotations
@@ -18,11 +26,18 @@ import tkinter as tk
from pathlib import Path
from tkinter import ttk
-from app.core.pdf_loader import MAX_ZOOM, MIN_ZOOM, PdfDocument, PdfLoadError, load_pdf
+from app.core.pdf_loader import DEFAULT_DPI, MAX_ZOOM, MIN_ZOOM, PdfDocument, PdfLoadError, load_pdf
+from app.core.text_extractor import ExtractedWord
#: 拡大縮小ボタン1回あたりの倍率の増減幅
ZOOM_STEP = 0.25
+#: 検出枠(単語のハイライト矩形)の線の色・太さ
+WORD_BOX_OUTLINE_COLOR = "#e0392b"
+WORD_BOX_OUTLINE_WIDTH = 2
+#: Canvas上で検出枠だけをまとめて削除・再描画するためのタグ
+WORD_BOX_TAG = "word_box"
+
class PreviewCanvas(ttk.Frame):
"""PDFのページ画像を表示し、ページ送り・拡大縮小を行う部品。"""
@@ -34,10 +49,26 @@ class PreviewCanvas(ttk.Frame):
self._zoom = 1.0
# PhotoImageはGC対象になるとCanvas上から消えてしまうため、参照を保持し続ける
self._photo_image: tk.PhotoImage | None = None
+ # 直近に検出・表示した単語一覧(ページ送り時は現在のページの分だけ描画する)
+ self._word_boxes: list[ExtractedWord] = []
self._build_widgets()
self._refresh_controls()
+ @property
+ def document(self) -> PdfDocument | None:
+ """現在プレビュー中の `PdfDocument`(未読み込みなら `None`)。
+
+ `app/ui/main_window.py` が `app/core/text_extractor.py` へ渡す
+ ページ番号・ドキュメントを取得するための窓口。
+ """
+ return self._document
+
+ @property
+ def page_number(self) -> int:
+ """現在表示中のページ番号(0始まり)。"""
+ return self._page_number
+
def _build_widgets(self) -> None:
toolbar = ttk.Frame(self)
toolbar.pack(fill="x")
@@ -85,8 +116,47 @@ class PreviewCanvas(ttk.Frame):
self._document = load_pdf(path)
self._page_number = 0
self._zoom = 1.0
+ self._word_boxes = []
self._render_current_page()
+ def show_word_boxes(self, words: list[ExtractedWord]) -> None:
+ """検出した単語のバウンディングボックスを、表示中のページに重ねて描画する。
+
+ `words` は `app/core/text_extractor.extract_words()` の戻り値を
+ そのまま渡す想定。表示中のページ番号と異なる `page_number` を持つ
+ 単語は描画対象から除外する(複数ページのPDFで、別ページの検出結果を
+ 誤って重ねて表示しないようにするため)。
+ """
+ self._word_boxes = list(words)
+ self._draw_word_boxes()
+
+ def clear_word_boxes(self) -> None:
+ """描画済みの検出枠を消す。"""
+ self._word_boxes = []
+ self.canvas.delete(WORD_BOX_TAG)
+
+ def _draw_word_boxes(self) -> None:
+ self.canvas.delete(WORD_BOX_TAG)
+ if self._document is None or not self._word_boxes:
+ return
+
+ # render_page()は常にDEFAULT_DPIを基準dpiとして使っているため、
+ # 検出枠の座標変換にも同じ基準dpiを使う(画像とずれないようにするため)。
+ scale = (DEFAULT_DPI / 72.0) * self._zoom
+ for word in self._word_boxes:
+ if word.page_number != self._page_number:
+ continue
+ x0, y0, x1, y1 = word.bbox
+ self.canvas.create_rectangle(
+ x0 * scale,
+ y0 * scale,
+ x1 * scale,
+ y1 * scale,
+ outline=WORD_BOX_OUTLINE_COLOR,
+ width=WORD_BOX_OUTLINE_WIDTH,
+ tags=WORD_BOX_TAG,
+ )
+
def _close_current_document(self) -> None:
if self._document is not None:
self._document.close()
@@ -133,6 +203,7 @@ class PreviewCanvas(ttk.Frame):
self.canvas.delete("all")
self.canvas.create_image(0, 0, anchor="nw", image=self._photo_image)
self.canvas.configure(scrollregion=(0, 0, rendered.width, rendered.height))
+ self._draw_word_boxes()
self._refresh_controls()
def _refresh_controls(self) -> None:
_draw_word_boxes()は、ページを再描画する_render_current_page()からも呼び出すようにしました。これにより、検出枠を表示した状態で拡大縮小をしても、新しい倍率に合わせて枠が自動的に再計算されます。保持している単語リストのうち現在のページ番号と一致するものだけを描画するため、別ページの検出結果が誤って重なることもありません(ページを送った直後は新しいページの検出結果をまだ持っていないため枠は一旦消えます。ページ送りに合わせて自動で検出をやり直す処理は、検出結果を人が確認・修正する第6回でまとめて扱う予定です)。
メイン画面への配線(app/ui/main_window.py)
「文字を検出してハイライト」ボタンを追加し、押すと表示中のページに対してextract_words()を呼び出します。
_on_detect_text() が今回の中心です。あわせて、PDFを読み込んだらボタンを押せるようにする _refresh_buttons() を追加しています。
app/ui/main_window.py に次の変更を加えます(+ が追加、- が削除)。
app/ui/main_window.py の差分(125行)
--- a/app/ui/main_window.py
+++ b/app/ui/main_window.py
@@ -4,6 +4,8 @@
第0回で「ファイルを選ぶ」「選んだパスを保持する」ところまでを実装した。
第1回では、選んだPDFの図面ページを画面上にプレビュー表示する
`app/ui/preview_canvas.py` をここから呼び出すように配線した。
+第2回では、表示中のページに埋め込まれた文字を `app/core/text_extractor.py`
+で抽出し、検出枠としてプレビュー上にハイライト表示するボタンを追加した。
"""
from __future__ import annotations
@@ -13,10 +15,11 @@ from tkinter import filedialog, messagebox, ttk
from app.core.file_selection import FileSelectionError, SelectedFiles, validate_excel_path, validate_pdf_path
from app.core.pdf_loader import PdfLoadError
+from app.core.text_extractor import extract_words
from app.ui.preview_canvas import PreviewCanvas
WINDOW_TITLE = "間取りOCR転記ツール"
-WINDOW_SIZE = "760x640"
+WINDOW_SIZE = "760x680"
PDF_FILETYPES = [("PDFファイル", "*.pdf")]
EXCEL_FILETYPES = [("Excelファイル", "*.xlsx *.xlsm")]
@@ -38,7 +41,7 @@ class MainWindow(ttk.Frame):
def _build_widgets(self) -> None:
self.columnconfigure(0, weight=1)
- self.rowconfigure(6, weight=1)
+ self.rowconfigure(7, weight=1)
ttk.Label(self, text="1. CAD図面PDFを選択").grid(row=0, column=0, sticky="w")
ttk.Button(self, text="PDFを選ぶ...", command=self._on_choose_pdf).grid(row=0, column=1, padx=8)
@@ -52,18 +55,28 @@ class MainWindow(ttk.Frame):
row=3, column=0, columnspan=2, sticky="w", pady=(0, 12)
)
+ self.detect_text_button = ttk.Button(
+ self,
+ text="3. 表示中のページの文字を検出してハイライト",
+ command=self._on_detect_text,
+ state="disabled",
+ )
+ self.detect_text_button.grid(row=4, column=0, columnspan=2, sticky="ew", pady=(4, 4))
+
self.run_button = ttk.Button(
- self, text="3. 実行(次回以降で実装)", command=self._on_run, state="disabled"
+ self, text="4. 実行(次回以降で実装)", command=self._on_run, state="disabled"
)
- self.run_button.grid(row=4, column=0, columnspan=2, sticky="ew", pady=(4, 12))
+ self.run_button.grid(row=5, column=0, columnspan=2, sticky="ew", pady=(4, 12))
ttk.Label(self, textvariable=self.status_var, foreground="#1a6b2a").grid(
- row=5, column=0, columnspan=2, sticky="w"
+ row=6, column=0, columnspan=2, sticky="w"
)
- ttk.Label(self, text="図面プレビュー").grid(row=6, column=0, sticky="nw", pady=(12, 0))
+ ttk.Label(self, text="図面プレビュー(赤枠:検出した単語)").grid(
+ row=7, column=0, sticky="nw", pady=(12, 0)
+ )
self.preview = PreviewCanvas(self)
- self.preview.grid(row=6, column=0, columnspan=2, sticky="nsew", pady=(28, 0))
+ self.preview.grid(row=7, column=0, columnspan=2, sticky="nsew", pady=(28, 0))
def _on_choose_pdf(self) -> None:
path = filedialog.askopenfilename(title="CAD図面PDFを選択", filetypes=PDF_FILETYPES)
@@ -81,7 +94,7 @@ class MainWindow(ttk.Frame):
return
self.selected = self.selected.with_pdf(validated)
self.pdf_path_var.set(str(validated))
- self._refresh_run_button()
+ self._refresh_buttons()
def _on_choose_excel(self) -> None:
path = filedialog.askopenfilename(title="Excelテンプレートを選択", filetypes=EXCEL_FILETYPES)
@@ -94,18 +107,44 @@ class MainWindow(ttk.Frame):
return
self.selected = self.selected.with_excel(validated)
self.excel_path_var.set(str(validated))
- self._refresh_run_button()
+ self._refresh_buttons()
def _refresh_run_button(self) -> None:
if self.selected.is_ready():
self.run_button.configure(state="normal")
- self.status_var.set("PDFとExcelを選択しました。")
+ self.status_var.set("PDFとExcelを選択しました。「3.」で図面の文字を読み取れます。")
else:
self.run_button.configure(state="disabled")
+ def _refresh_buttons(self) -> None:
+ """ボタンの有効・無効を今の状態に合わせる。"""
+ has_pdf = self.preview.document is not None
+ normal_if = {True: "normal", False: "disabled"}
+ self.detect_text_button.configure(state=normal_if[has_pdf])
+ self._refresh_run_button()
+
+ def _on_detect_text(self) -> None:
+ """表示中のページの文字を検出し、検出枠をプレビューに重ねて表示する。
+
+ ページ送り・拡大縮小をした後にこのボタンを押すと、その時点で表示中の
+ ページに対して検出をやり直す(ページごとにキャッシュはしていない)。
+ """
+ if self.preview.document is None:
+ return
+ try:
+ words = extract_words(self.preview.document, self.preview.page_number)
+ except PdfLoadError as exc:
+ messagebox.showerror("文字抽出エラー", str(exc))
+ return
+ self.preview.show_word_boxes(words)
+ if words:
+ self.status_var.set(f"このページで{len(words)}件の単語を検出しました(赤枠で表示)。")
+ else:
+ self.status_var.set("このページからは埋め込み文字が検出できませんでした(スキャン画像の可能性があります)。")
+
def _on_run(self) -> None:
- """実行ボタン。図面の読み取り・Excelへの転記は次回以降で実装する。"""
- messagebox.showinfo("実行", "図面の読み取り・Excelへの転記は次回以降で実装します。")
+ """実行ボタン。部屋名の確認(第6回)・Excelへの転記(第7回)は次回以降で実装する。"""
+ messagebox.showinfo("実行", "部屋名の確認・Excelへの転記は次回以降で実装します。")
def build_main_window(master: tk.Tk) -> MainWindow:
extract_words()が空リストを返した場合は、例外にせず「検出できなかった」というメッセージを表示するだけにしています。テキストが埋め込まれていないスキャン画像の図面を開いたときに起きる正常なケースだからです(対応は第4回のローカルOCR)。
テスト(tests/test_text_extractor.py)
部屋名と寸法値らしき文字列を混ぜたPDFをその場で作り、文字列・座標・フォントサイズが取れることを確かめるテストです。新しいパッケージは追加しません。
tests/test_text_extractor.py を新しく作ります(全文)。
tests/test_text_extractor.py の全文(165行)
# tests/test_text_extractor.py
"""`app.core.text_extractor` のユニットテスト(tkinter非依存)。
テスト用のサンプルPDFは、実在の図面ではなく、PyMuPDF自体でテキストを
描画してその場で生成する(架空のサンプル)。日本語(部屋名)を正しく
テキスト抽出できることを確認するため、`insert_text()` には日本語グリフを
含む組み込みフォント(`fontname="japan"`)を指定している。既定の
`fontname="helv"`(Helvetica)は日本語グリフを持たないため、そのまま
日本語を描画すると `get_text()` で文字化けした文字列しか取得できない
(この連載のテストPDFではまだ日本語を抽出していなかった第1回時点では
問題にならなかったが、文字抽出を行う今回は明示的にフォントを指定する)。
"""
from __future__ import annotations
from pathlib import Path
import fitz
import pytest
from app.core.pdf_loader import PdfLoadError, load_pdf
from app.core.text_extractor import ExtractedWord, extract_words
#: テスト用サンプルPDFのページサイズ(A4縦・ポイント単位)
A4_WIDTH_PT = 595.0
A4_HEIGHT_PT = 842.0
#: 日本語グリフを含むPyMuPDF組み込みフォント名
JAPANESE_FONT = "japan"
def _make_room_label_pdf(path: Path) -> Path:
"""部屋名らしき文字列と、寸法値らしき文字列を配置したサンプルPDFを生成する。
- 「居間」: フォントサイズ14で(72, 100)付近に配置(部屋名を想定)
- 「寝室1」「洋室2」: フォントサイズ10で1行に並べて配置(空白区切りの複数単語)
- 「W=3640」: フォントサイズ8で配置(寸法値を想定。ASCII文字のため既定フォントで描画)
"""
document = fitz.open()
page = document.new_page(width=A4_WIDTH_PT, height=A4_HEIGHT_PT)
page.insert_text((72, 100), "居間", fontsize=14, fontname=JAPANESE_FONT)
page.insert_text((300, 130), "寝室1 洋室2", fontsize=10, fontname=JAPANESE_FONT)
page.insert_text((72, 160), "W=3640", fontsize=8)
document.save(path)
document.close()
return path
def _make_blank_pdf(path: Path) -> Path:
"""文字を一切描画していない、テキストが埋め込まれていないサンプルPDFを生成する。"""
document = fitz.open()
document.new_page(width=A4_WIDTH_PT, height=A4_HEIGHT_PT)
document.save(path)
document.close()
return path
def test_extract_words_returns_room_label_text(tmp_path: Path) -> None:
pdf_path = _make_room_label_pdf(tmp_path / "sample.pdf")
with load_pdf(pdf_path) as document:
words = extract_words(document, 0)
texts = [word.text for word in words]
assert "居間" in texts
assert "寝室1" in texts
assert "洋室2" in texts
assert "W=3640" in texts
def test_extract_words_splits_space_separated_words_in_same_span(tmp_path: Path) -> None:
"""「寝室1 洋室2」のように1つのテキストとして挿入した文字列が、
空白を境に別々の単語(別々のバウンディングボックス)として取れることを確認する。
"""
pdf_path = _make_room_label_pdf(tmp_path / "sample.pdf")
with load_pdf(pdf_path) as document:
words = extract_words(document, 0)
by_text = {word.text: word for word in words}
bedroom = by_text["寝室1"]
western_room = by_text["洋室2"]
# 同じ行の2単語なので、bboxが重ならずに横に並んでいるはず
assert bedroom.bbox[2] <= western_room.bbox[0]
def test_extract_words_reports_font_size(tmp_path: Path) -> None:
pdf_path = _make_room_label_pdf(tmp_path / "sample.pdf")
with load_pdf(pdf_path) as document:
words = extract_words(document, 0)
by_text = {word.text: word for word in words}
assert by_text["居間"].font_size == pytest.approx(14.0)
assert by_text["寝室1"].font_size == pytest.approx(10.0)
assert by_text["洋室2"].font_size == pytest.approx(10.0)
assert by_text["W=3640"].font_size == pytest.approx(8.0)
def test_extract_words_reports_page_number(tmp_path: Path) -> None:
pdf_path = _make_room_label_pdf(tmp_path / "sample.pdf")
with load_pdf(pdf_path) as document:
words = extract_words(document, 0)
assert words
assert all(word.page_number == 0 for word in words)
def test_extract_words_bbox_is_within_page_bounds(tmp_path: Path) -> None:
pdf_path = _make_room_label_pdf(tmp_path / "sample.pdf")
with load_pdf(pdf_path) as document:
words = extract_words(document, 0)
for word in words:
x0, y0, x1, y1 = word.bbox
assert 0 <= x0 < x1 <= A4_WIDTH_PT
assert 0 <= y0 < y1 <= A4_HEIGHT_PT
def test_extract_words_returns_empty_list_for_page_without_text(tmp_path: Path) -> None:
pdf_path = _make_blank_pdf(tmp_path / "blank.pdf")
with load_pdf(pdf_path) as document:
words = extract_words(document, 0)
assert words == []
def test_extract_words_out_of_range_page_raises(tmp_path: Path) -> None:
pdf_path = _make_room_label_pdf(tmp_path / "sample.pdf")
with load_pdf(pdf_path) as document:
with pytest.raises(PdfLoadError):
extract_words(document, 1)
with pytest.raises(PdfLoadError):
extract_words(document, -1)
def test_extract_words_multi_page_only_returns_requested_page(tmp_path: Path) -> None:
document_path = tmp_path / "multi.pdf"
doc = fitz.open()
page0 = doc.new_page(width=A4_WIDTH_PT, height=A4_HEIGHT_PT)
page0.insert_text((72, 100), "居間", fontsize=14, fontname=JAPANESE_FONT)
page1 = doc.new_page(width=A4_WIDTH_PT, height=A4_HEIGHT_PT)
page1.insert_text((72, 100), "寝室1", fontsize=14, fontname=JAPANESE_FONT)
doc.save(document_path)
doc.close()
with load_pdf(document_path) as document:
words_page0 = extract_words(document, 0)
words_page1 = extract_words(document, 1)
assert [w.text for w in words_page0] == ["居間"]
assert [w.text for w in words_page1] == ["寝室1"]
assert words_page0[0].page_number == 0
assert words_page1[0].page_number == 1
def test_extracted_word_is_frozen_dataclass() -> None:
word = ExtractedWord(text="居間", bbox=(0.0, 0.0, 10.0, 10.0), font_size=12.0, page_number=0)
with pytest.raises(AttributeError):
word.text = "寝室" # type: ignore[misc]
動かしてみる
pytest
ruff check .
python -m app.main
pytest で「32 passed」と表示されれば完了です。アプリで第1回の sample.pdf(python tools/make_sample_pdf.py sample.pdf で作ったもの)を開き、「3. 表示中のページの文字を検出してハイライト」を押すと、文字の周りに赤枠が表示されます。
動作確認の方法
前回同様、Linux開発環境で確認できたことと、Windows実機での確認が必要なことを分けて書きます。
Linux開発環境で確認できたこと
pytest:合計32件(うちtests/test_text_extractor.pyが新規9件)がすべて成功。部屋名(「居間」「寝室1」「洋室2」)と寸法値らしき文字列(「W=3640」)を混在させたサンプルPDFで、文字列・座標・フォントサイズの取得、空白区切りの単語分割、文字なしページでの空リスト、範囲外ページでのPdfLoadError、複数ページ間で単語が混ざらないことを検証しています。テスト用PDFはPyMuPDF自身でその場で生成した架空のサンプルですruff check .:エラーなし- ヘッドレス確認:前回と同様
tkinter入り環境のXvfb上にメイン画面を生成し、架空のサンプルPDFをpreview.load_pdf()で読み込ませ、実際のボタンハンドラ_on_detect_text()を呼び出して、Canvas上にword_boxタグの矩形が単語数分描画されること、拡大操作をしても件数が変わらず例外が出ないこと、clear_word_boxes()で矩形が消えることを確認しました
前回(第1回)の続きとして、まずサンプルPDFの1ページ目をプレビュー表示した状態がこちらです(前回と同じ画面です)。

ここで「3. 表示中のページの文字を検出してハイライト」ボタンを押すと、実際のボタンハンドラ_on_detect_text()が呼ばれ、次のように検出した単語(「居間」「寝室1」や見出し文字など)の周りに赤枠が表示されます。

※いずれも開発環境(Linux/Xvfb上・Ubuntu標準のTkテーマ)で確認した画面です。Windows実機ではウィンドウの装飾や既定フォントなど見た目が異なります。また、どちらの画像も第3回の時点で撮り直したもので、「4. 部屋名候補だけを絞り込んでハイライト」ボタンは第3回で追加します(第2回のコードでは、その位置に「4. 実行」ボタンが表示されます)。
Windows実機での確認が必要なこと(このリポジトリでは未確認)
- 実際の図面画像の上に、検出枠が文字とずれずに重なって表示されるか(ヘッドレス確認は矩形の個数・タグの確認であり、目で見た一致の確認ではありません)
- 実在のCAD図面で、想定どおりの粒度で文字が取得できるか(今回はPyMuPDFで生成した単純なサンプルのみで検証)
- 検出枠が多いページでのCanvas描画の速度
つまずきやすい点・セキュリティ上の注意
- 日本語を描画するテスト用PDFのフォント指定:テストコードでは、
page.insert_text()で日本語の部屋名を描画する際に、PyMuPDF組み込みのCJK(中国語・日本語・韓国語)フォントfontname="japan"を明示的に指定しています。既定のフォント(fontname="helv")は日本語のグリフ(字形データ)を持たないため、そのまま渡すとget_text()で取り出しても文字化けした文字列しか得られません。実際のCAD図面PDFはCADソフト側が適切な日本語フォントを埋め込むため通常は問題になりませんが、自作のテストPDFで日本語を扱う場合は要注意です - フォントサイズの対応付けはあくまで近似:1つの単語が複数のspanにまたがる複雑なレイアウト(一部だけ強調書式になっている等)では、意図した通りのフォントサイズを取れない可能性があります
- 単語の区切りは空白文字ベース:部屋名が独立したテキストとして挿入されている図面ではこの分割で十分ですが、部屋名と寸法値が空白なく1つのテキストとして挿入されている図面では期待通りに分割されません。対処は第3回で改めて検討します
- 図面ファイルの取り扱い:図面PDFには顧客の建物情報が含まれることがあります。この連載では、実在の図面ではなくPyMuPDFで生成した架空のテスト用PDFのみを使っています
発注者向けメモ
この回で確認しておきたいこと・工数の勘所
CAD由来のPDFは、文字が最初から「ベクター文字」として埋め込まれていることが多く、その場合は今回作った文字抽出処理だけで、OCRよりも速く精度高く部屋名候補を拾えます。一方、図面が一度スキャンされて画像化されたPDFでは、今回の処理は文字を1つも検出できません(第4回のローカルOCRが必要になります)。
つまり、自社が転記対象にしたい図面PDFが「ベクター文字入りかスキャン画像か」を、開発を依頼する前に確認しておくと見積もりの精度が上がります。 PDFをAdobe AcrobatやPDF閲覧ソフトで開き、文字部分をドラッグして選択できるか試すだけで見分けられます。選択できれば(青くハイライトされれば)ベクター文字入り、選択できず図面全体が1枚の画像のように扱われる場合はスキャン画像の可能性が高いです。同じ物件でも作成年代やCADソフトによって両方が混在することがあるため、サンプルを何パターンか開発会社に渡し判定してもらうのが確実です。
ベクター文字入りの図面が中心であれば、OCRに頼る処理の割合が減り、開発工数・処理時間・誤読リスクのいずれも下がりやすくなります。逆にスキャン画像の古い図面が多い場合は、OCR(第4回)や外部AI画像解析(第5回)への依存度が上がり、開発コストに加えて情報漏えいリスクの検討(契約・秘密保持義務の確認)も必要になる、と見込んでおくとよいでしょう。
- ☐ 転記対象の図面PDFが、ベクター文字入りかスキャン画像か(またはその混在か)を確認したか
- ☐ 文字が選択できる図面の割合を大まかに把握したか
- ☐ スキャン画像の図面が多い場合、OCR・外部AIモードの追加コストを開発会社とすり合わせたか
- ☐ 検出した文字の精度確認(目視チェック)を誰がどのタイミングで行うか検討し始めたか
開発会社への質問例
- 「うちの図面PDFは、文字をドラッグして選択できるものとできないものが混ざっていますが、開発工数はどのくらい変わりますか?」
- 「文字の座標・フォントサイズをどう使って部屋名を絞り込む設計にしていますか?」
- 「検出漏れ・誤検出があった場合、どの段階で人が気づいて直せる仕組みになっていますか?」
まとめと次回予告
第2回では、PyMuPDFのget_text("words")とget_text("dict")を組み合わせて、ページ内の単語を座標・フォントサイズ付きで取得するapp/core/text_extractor.pyを実装し、前回のプレビュー画面(app/ui/preview_canvas.py)に検出枠として重ねて表示できるようにしました。コア処理は引き続きGUIに依存しない形で実装し、pytestで自動検証できる状態を保っています。
次回(第3回)は、今回すべてハイライトしていた単語の中から、部屋名らしい文字列だけを絞り込むルールを作ります。部屋名の辞書(YAML)と、文字サイズ・図面内の位置を使ったヒューリスティックで、寸法線の数値や符号などのノイズを除外していきます。
この連載の記事一覧
この記事は連載「CAD図面PDFをExcelへ自動転記するツール開発」の1回です。連載のほかの回は次のとおりです(連載の一覧ページ)。
- 【CAD図面PDFをExcelへ自動転記するツール開発 第0回】要件整理とPython開発環境、tkinterの最初の画面を作る
- 【CAD図面PDFをExcelへ自動転記するツール開発 第1回】PyMuPDFで図面PDFを画面にプレビュー表示する
- 【CAD図面PDFをExcelへ自動転記するツール開発 第2回】PyMuPDFで図面の文字を座標付きで抽出し、プレビューにハイライト表示する(この記事)
- 【CAD図面PDFをExcelへ自動転記するツール開発 第3回】部屋名辞書とヒューリスティックで「部屋名らしき文字列」だけを絞り込む
- 【CAD図面PDFをExcelへ自動転記するツール開発 第4回】スキャン図面・画像PDFの部屋名をローカルOCR(Tesseract)で読み取る
- 【CAD図面PDFをExcelへ自動転記するツール開発 第5回】外部AI(Claude)の画像解析で図面の部屋名を読み取り、精度を底上げする
- 【CAD図面PDFをExcelへ自動転記するツール開発 第6回】AI・OCRの読み取り結果を人が確認・修正する画面を作る
- 【CAD図面PDFをExcelへ自動転記するツール開発 第7回】確認済みの部屋名を指定のExcelフォーマットの決まった欄へ転記する
- 【CAD図面PDFをExcelへ自動転記するツール開発 第8回】部屋名とExcelの欄の対応付けを設定ファイル(YAML)で変えられるようにする
- 【CAD図面PDFをExcelへ自動転記するツール開発 第9回】複数の図面PDFをフォルダごとまとめて処理する(進捗表示・中止・失敗しても止まらない一括処理)
- 【CAD図面PDFをExcelへ自動転記するツール開発 第10回】ローカル完結モードと外部AIモードを切り替え、APIキーをWindowsの資格情報マネージャーに保存する
- 【CAD図面PDFをExcelへ自動転記するツール開発 第11回(最終回)】PyInstallerでWindows向けexeにまとめて配布し、精度の限界と確認のルールを整理する


コメント
コメント一覧 (1件)
[…] 前回(第2回)では、CAD図面PDFに埋め込まれた文字を座標・フォントサイズ付きで取り出し、検出できた単語をすべて赤枠でハイライト表示するところまで作りました。ただし前回時点では、部屋名の「居間」「寝室1」も、寸法値の「W=3640」も、区別なく同じように赤枠で囲われる状態でした。 […]