(2026年10月29日 追記:記事どおりに再現できるよう、必要なコードと手順を追加しました)
前回の第5回までは、認識の結果を画像で見て、「レモンがorangeになっている」などと目で確認してきました。しかし、システムを発注するときには「精度は何%か」を同じ物差しで測れる必要があります。
今回は、正解データを用意して、AIの結果と突き合わせ、適合率と再現率という2つの数字で精度を測ります。「精度○%」という言葉の中身を、実際の数字で理解する回です。
この回で作るもの
- 正解データ(何が・どこに写っているか)をJSONで持つ仕組み
- AIの結果と正解を突き合わせて、正解・誤検出・見逃しを数える処理
app/evaluate.py - 種類ごとの適合率・再現率を表示するコマンド
用語:TP・FP・FNと、適合率・再現率
AIの結果を、正解データと1つずつ照らし合わせると、次の3つに分けられます。
| 呼び方 | 言い換え | 意味 |
|---|---|---|
| TP | 正解 | 正解の枠と重なっていて、種類も合っている検出 |
| FP | 誤検出 | 正解にない(または種類が違う)のに見つけたもの |
| FN | 見逃し | 正解にあるのに、見つけられなかったもの |
この3つの数から、2つの割合を計算します。
- 適合率 = TP ÷(TP + FP):見つけたもののうち、正しかった割合。誤検出が多いと下がる
- 再現率 = TP ÷(TP + FN):正解のうち、見つけられた割合。見逃しが多いと下がる
「精度」という1つの言葉は、実際にはこの2つを指しているか、混ぜて使われていることが多くあります。どちらを重視するかは、第1回の「見逃しと誤検出のどちらが困るか」と同じ問いです。
「正しく見つけた」の判定:枠の重なり(IoU)
AIの枠と正解の枠が「同じ物体を指している」かどうかは、枠の重なり具合(IoU。共通部分の面積 ÷ 合わせた面積)で判断します。この連載では、0.5以上(半分以上重なる)を一致としました。
実装
計算の処理は、新しいファイル app/evaluate.py にまとめます。まず要点を抜粋で説明し、ファイルの全体はこの節の最後に載せます。
枠の重なりを計算する
# app/evaluate.py(抜粋)
def iou(a: Box, b: Box) -> float:
"""2つの枠の重なり具合(0〜1)。共通部分の面積 ÷ 合わせた面積。"""
left, top = max(a[0], b[0]), max(a[1], b[1])
right, bottom = min(a[2], b[2]), min(a[3], b[3])
inter = max(0, right - left) * max(0, bottom - top)
union = (a[2] - a[0]) * (a[3] - a[1]) + (b[2] - b[0]) * (b[3] - b[1]) - inter
return inter / union if union else 0.0
突き合わせて数える
# app/evaluate.py(抜粋)
def evaluate(truths, detections, iou_threshold=0.5) -> dict[str, Score]:
"""種類ごとの TP / FP / FN を数える。信頼度の高い検出から順に、まだ使われていない正解と1対1で対応づける。"""
scores: dict[str, Score] = defaultdict(Score)
used: set[int] = set()
for det in sorted(detections, key=lambda d: -d.confidence):
best, best_iou = None, iou_threshold
for i, t in enumerate(truths):
if i in used or t.label != det.label:
continue
value = iou(det.box, t.box)
if value >= best_iou:
best, best_iou = i, value
if best is None:
scores[det.label].fp += 1
else:
used.add(best)
scores[det.label].tp += 1
for i, t in enumerate(truths):
if i not in used:
scores[t.label].fn += 1
return dict(scores)
ポイントは、1つの正解に対応できる検出は1つだけという点です。同じ物体に2つの枠を付けても、正解になるのは1つで、もう1つは誤検出として数えます。
app/evaluate.py の全体は次のとおりです。上の2つの関数のほか、正解データの読み込み(load_ground_truth)、表の作成(format_report)、コマンドの入口(main)があります。画像は、--images で指定したフォルダ(既定は samples)から、正解データに書いたファイル名で読みます。
app/evaluate.py の全文(116行)
# app/evaluate.py
"""正解データと認識結果を突き合わせて、適合率・再現率を計算する。
python -m app.evaluate samples/ground_truth/fruits.json --images samples --conf 0.25
用語(この連載での言い換え)
TP(正解) : 正解の枠と重なり、種類も合っている検出
FP(誤検出): 正解に無い(または種類が違う)のに見つけた検出
FN(見逃し): 正解にあるのに見つけられなかったもの
適合率 : 見つけたもののうち、正しかった割合 = TP / (TP + FP)
再現率 : 正解のうち、見つけられた割合 = TP / (TP + FN)
"""
from __future__ import annotations
import argparse
import json
from collections import defaultdict
from dataclasses import dataclass
from pathlib import Path
from app.config import DEFAULT_CONFIDENCE
from app.detector import Detection, Detector
Box = tuple[int, int, int, int]
@dataclass(frozen=True)
class GroundTruth:
label: str
box: Box
@dataclass
class Score:
tp: int = 0
fp: int = 0
fn: int = 0
@property
def precision(self) -> float | None:
return self.tp / (self.tp + self.fp) if self.tp + self.fp else None
@property
def recall(self) -> float | None:
return self.tp / (self.tp + self.fn) if self.tp + self.fn else None
def iou(a: Box, b: Box) -> float:
"""2つの枠の重なり具合(0〜1)。共通部分の面積 ÷ 合わせた面積。"""
left, top = max(a[0], b[0]), max(a[1], b[1])
right, bottom = min(a[2], b[2]), min(a[3], b[3])
inter = max(0, right - left) * max(0, bottom - top)
union = (a[2] - a[0]) * (a[3] - a[1]) + (b[2] - b[0]) * (b[3] - b[1]) - inter
return inter / union if union else 0.0
def evaluate(
truths: list[GroundTruth], detections: list[Detection], iou_threshold: float = 0.5
) -> dict[str, Score]:
"""種類ごとの TP / FP / FN を数える。信頼度の高い検出から順に、まだ使われていない正解と1対1で対応づける。"""
scores: dict[str, Score] = defaultdict(Score)
used: set[int] = set()
for det in sorted(detections, key=lambda d: -d.confidence):
best, best_iou = None, iou_threshold
for i, t in enumerate(truths):
if i in used or t.label != det.label:
continue
value = iou(det.box, t.box)
if value >= best_iou:
best, best_iou = i, value
if best is None:
scores[det.label].fp += 1
else:
used.add(best)
scores[det.label].tp += 1
for i, t in enumerate(truths):
if i not in used:
scores[t.label].fn += 1
return dict(scores)
def load_ground_truth(path: str | Path) -> tuple[str, list[GroundTruth]]:
data = json.loads(Path(path).read_text(encoding="utf-8"))
return data["image"], [GroundTruth(o["label"], tuple(o["box"])) for o in data["objects"]] # type: ignore[arg-type]
def format_report(scores: dict[str, Score]) -> str:
def pct(value: float | None) -> str:
return " - " if value is None else f"{value * 100:4.0f}%"
total = Score()
lines = ["種類 TP FP FN 適合率 再現率"]
for label in sorted(scores):
s = scores[label]
total.tp, total.fp, total.fn = total.tp + s.tp, total.fp + s.fp, total.fn + s.fn
lines.append(f"{label:<14}{s.tp:>4}{s.fp:>4}{s.fn:>4} {pct(s.precision)} {pct(s.recall)}")
lines.append(f"{'全体':<13}{total.tp:>4}{total.fp:>4}{total.fn:>4} {pct(total.precision)} {pct(total.recall)}")
return "\n".join(lines)
def main(argv: list[str] | None = None) -> int:
parser = argparse.ArgumentParser(description="正解データと突き合わせて精度を測る")
parser.add_argument("ground_truth", help="正解データ(JSON)")
parser.add_argument("--images", default="samples", help="画像のフォルダ")
parser.add_argument("--conf", type=float, default=DEFAULT_CONFIDENCE, help="信頼度のしきい値")
parser.add_argument("--iou", type=float, default=0.5, help="正解の枠と何割重なれば一致とみなすか")
args = parser.parse_args(argv)
image_name, truths = load_ground_truth(args.ground_truth)
detections = Detector(confidence=args.conf).detect(Path(args.images) / image_name)
print(f"{image_name}: 正解 {len(truths)} 個 / 検出 {len(detections)} 件(しきい値 {args.conf}、重なり {args.iou})")
print(format_report(evaluate(truths, detections, args.iou)))
return 0
if __name__ == "__main__":
raise SystemExit(main())
正解データ
正解データは、JSONで、種類と枠(左, 上, 右, 下のピクセル)を書きます。samples/ground_truth フォルダを作り(mkdir -p samples/ground_truth)、samples/ground_truth/fruits.json として保存します(_comment は説明用のメモで、プログラムは読みません)。
{
"_comment": "説明用の正解データ。サンプル画像 fruits.jpg を見て、AI(この連載の執筆者)が枠を決めた。実際の業務では、現場の担当者が正解を作る(第6回参照)。",
"image": "fruits.jpg",
"objects": [
{"label": "orange", "box": [0, 0, 158, 105]},
{"label": "orange", "box": [69, 44, 348, 470]},
{"label": "banana", "box": [0, 95, 146, 294]},
{"label": "lime", "box": [322, 120, 512, 305]},
{"label": "lemon", "box": [318, 247, 512, 480]},
{"label": "kiwi", "box": [0, 277, 130, 480]}
]
}
このサンプルの正解データは、説明用にAI(この連載の執筆者)が写真を見て枠を決めたものです。 実際の業務では、現場の担当者が正解を作り、複数人で確認します(後述)。
動かして確かめる
python -m app.evaluate samples/ground_truth/fruits.json --conf 0.25
fruits.jpg: 正解 6 個 / 検出 4 件(しきい値 0.25、重なり 0.5)
種類 TP FP FN 適合率 再現率
banana 0 0 1 - 0%
kiwi 0 0 1 - 0%
lemon 0 0 1 - 0%
lime 0 0 1 - 0%
orange 1 3 1 25% 50%
全体 1 3 5 25% 17%
これまで見てきた問題が、数字で表れました。
- orange:見つけた4件のうち、本物のオレンジは1件だけ(適合率25%)。写真に2個あるオレンジのうち、見つけられたのは1個(再現率50%)
- banana・kiwi・lemon・lime:学習済みモデルが知らない、または見つけられなかったため、再現率0%
- 全体:適合率25%・再現率17%
しきい値を0.1に下げると、結果はこう変わります。
fruits.jpg: 正解 6 個 / 検出 8 件(しきい値 0.1、重なり 0.5)
種類 TP FP FN 適合率 再現率
banana 0 0 1 - 0%
dining table 0 1 0 0% -
kiwi 0 0 1 - 0%
lemon 0 0 1 - 0%
lime 0 0 1 - 0%
orange 2 5 0 29% 100%
全体 2 6 4 25% 33%
オレンジの再現率は100%になりました(見逃しなし)が、誤検出は5件に増え、適合率は29%のままです。しきい値を下げると再現率は上がるが、適合率は上がらないという、第1回で見た関係が数字で確かめられました。
数字をそのまま信じてはいけない
この結果を見て、「この学習済みモデルは精度25%」と結論づけるのは誤りです。理由は次のとおりです。
- たった1枚の写真で測っている:写真1枚では、偶然の影響が大きすぎます。実際の評価には、対象の現場で撮った数十〜数百枚が必要です
- 正解データの作り方で数字が変わる:バナナを1つの枠にするか、2つに分けるかで、結果が変わります
- AIが苦手な写真を、あえて選んでいる:この写真は、モデルが知らない果物ばかりを集めた、説明用の写真です
大切なのは、数字そのものより、「どの写真で、誰が作った正解で、どう測ったか」を説明できることです。
テスト
評価のテスト tests/test_evaluate.py を作ります。
# tests/test_evaluate.py
from __future__ import annotations
import pytest
from app.detector import Detection
from app.evaluate import GroundTruth, Score, evaluate, format_report, iou
def test_iou_identical_and_disjoint() -> None:
assert iou((0, 0, 10, 10), (0, 0, 10, 10)) == 1.0
assert iou((0, 0, 10, 10), (20, 20, 30, 30)) == 0.0
assert iou((0, 0, 10, 10), (5, 0, 15, 10)) == pytest.approx(1 / 3)
def test_evaluate_counts_tp_fp_fn() -> None:
truths = [GroundTruth("orange", (0, 0, 100, 100)), GroundTruth("banana", (200, 0, 300, 100))]
detections = [
Detection("orange", 0.9, (2, 2, 98, 98)), # 正解
Detection("orange", 0.8, (200, 0, 300, 100)), # 種類が違う場所 → 誤検出
]
scores = evaluate(truths, detections)
assert (scores["orange"].tp, scores["orange"].fp, scores["orange"].fn) == (1, 1, 0)
assert (scores["banana"].tp, scores["banana"].fp, scores["banana"].fn) == (0, 0, 1)
def test_one_truth_matches_only_one_detection() -> None:
truths = [GroundTruth("orange", (0, 0, 100, 100))]
detections = [Detection("orange", 0.9, (0, 0, 100, 100)), Detection("orange", 0.5, (0, 0, 100, 100))]
assert evaluate(truths, detections)["orange"] == Score(tp=1, fp=1, fn=0)
def test_precision_recall_and_report() -> None:
score = Score(tp=1, fp=3, fn=1)
assert score.precision == 0.25 and score.recall == 0.5
assert Score().precision is None
assert "全体" in format_report({"orange": score})
pytest -q # 25件成功
ruff check . # 問題なし
枠の重なりの計算、正解・誤検出・見逃しの数え方(1つの正解に対応できるのは1つだけという規則を含む)、適合率・再現率の計算を、テストで確認しています。
つまずきやすい点
- 種類の名前がそろわない:正解データの
orangeとモデルのorangeの綴りが違うと、全部が誤検出・見逃しになります。名前の一覧を最初に決めます - 重なりのしきい値:0.5が標準的に使われますが、小さな物体を数える場合は厳しすぎることがあります。目的に合わせて決めます
- 数えない種類がある:正解にもAIにも無い種類は、表に出ません(
-は「割り算できない」の意味)
発注者向けメモ:「テスト用の正解付き写真」は発注者が用意する
精度の目標を決めて、それを満たしたかを確かめるには、正解付きのテスト用写真が必要です。この写真は、業務の中身を知っている発注者側が用意するのが基本です。開発会社は、現場の「正解」を知らないためです。
発注者がやること チェックリスト
- ☐ 現場で実際に撮る写真を、状況を変えて(明るさ・角度・混み具合)数十〜数百枚集めた
- ☐ 集めた写真に、何が・いくつ写っているかの正解を付けた(複数人で確認するとよい)
- ☐ 見逃し(再現率)と誤検出(適合率)のどちらを優先するか、目標の数字と一緒に決めた
- ☐ テスト用の写真は、開発会社が学習に使う写真とは別に取り分けた
- ☐ 納品時と、稼働後の定期的な確認で、同じテスト用の写真を使うことを決めた
開発会社への質問例
- 「精度の目標は、適合率と再現率のどちらで、どの写真を使って測りますか」
- 「テスト用の写真は、何枚必要ですか。学習に使う写真と分けて管理されますか」
- 「精度が目標に届かなかった場合、追加の学習や調整は、どの範囲まで契約に含まれますか」
- 「稼働後も、同じ方法で精度を測り直せますか。その作業は保守に含まれますか」
まとめと次回予告
第6回では、次のことを行いました。
- 正解データとAIの結果を突き合わせ、正解・誤検出・見逃しを数えた
- 適合率と再現率を計算し、しきい値を変えたときの関係を数字で確認した
- 写真1枚の数字は結論にならないこと、正解の作り方が大切なことを確認した
次回の第7回では、学習済みモデルが知らない対象(レモンやキウイなど)を、自分たちの写真で追加学習して覚えさせる手順を扱います。
この連載の記事一覧
この記事は連載「YOLOで作る画像認識ツール」の1回です。連載のほかの回は次のとおりです(連載の一覧ページ)。
- 【YOLOで作る画像認識ツール 第0回】全体像と環境づくり:YOLOで最初の1枚を認識する
- 【YOLOで作る画像認識ツール 第1回】信頼度のしきい値とJSON出力:認識結果を「使える形」にする
- 【YOLOで作る画像認識ツール 第2回】認識結果を画像に描いて確認する:枠とラベルで「間違い」を見つけやすくする
- 【YOLOで作る画像認識ツール 第3回】種類ごとに何個あるか数えて、CSVに集計する
- 【YOLOで作る画像認識ツール 第4回】FastAPIで画像認識を「API」にして、ほかのシステムから使えるようにする
- 【YOLOで作る画像認識ツール 第5回】ブラウザから写真をアップロードして、認識結果をその場で見る
- 【YOLOで作る画像認識ツール 第6回】精度を数字で測る:正解データと、適合率・再現率(この記事)
- 【YOLOで作る画像認識ツール 第7回】学習済みモデルにない対象を覚えさせる:追加学習の手順と、結果の正しい読み方
- 【YOLOで作る画像認識ツール 第8回】自信の低い結果だけ人が確認する:AIと人の役割分担を設計する
- 【YOLOで作る画像認識ツール 第9回】速く・軽くする:ONNXに変換してCPUで動かし、変換前後を比べる
- 【YOLOで作る画像認識ツール 第10回】Dockerで動かす:設定・ログ・ヘルスチェックを運用に近い形にする
- 【YOLOで作る画像認識ツール 第11回(最終回)】運用の注意点とライセンス(AGPL-3.0):精度の低下に気づく仕組みと、連載のまとめ

