(2026年10月29日 追記:記事どおりに再現できるよう、必要なコードと手順を追加しました)
社内のルールや規程は、Wordで書かれたものよりも、PDFで配られているもののほうが多いかもしれません。社内AIチャットに質問しても「PDFは読めません」では、現場では使ってもらえません。第6回では、部署ごとに見てよい文書だけを検索する仕組みを作りました。第7回では、PDFを取り込み、「どのPDFの何ページか」まで示して答えさせる部分を実装します。
前回の記事:【第6回】部署ごとに見てよい文書だけを検索する、アクセス制御を実装する
「社内の規程はほとんどPDFです。AIに質問して答えが返ってきても、PDFのどこに書いてあるのか分からないと、結局自分で確認し直すことになりませんか?」
先に結論をお伝えします。PDFの取り込みは「ページごとに文字を取り出し、断片にページ番号を持たせる」だけで実現できます。 そうすれば、回答の出典を「出張旅費規程.pdf 2ページ」の形で示せます。ただし、文字が埋め込まれていないPDF(紙をスキャンしただけのもの)は、この方法では読めません。読めなかったことを黙って見逃さず、警告として残す作りにしておくのが、運用では大切です。
この記事では、PDFからの文字の取り出し、ページ番号を出典に反映する方法、読めないPDFの扱いを実装します。あわせて、社内文書検索を開発会社に頼むときに「PDFが読めるか」を確認する観点も整理します。
PDFを社内文書検索で扱うときの3つの壁
PDFは「見た目を固定するための形式」です。人が読む分には便利ですが、プログラムが文章として読むには、次のような壁があります。
| 壁 | 内容 | この回の対応 |
|---|---|---|
| 文字が無いPDF | 紙をスキャンした画像だけのPDFは、文字のデータを持たない | 読めなかったページを警告として表示し、検索の対象外にする |
| ページの区切り | 文書全体を1つにつなぐと、どのページの話か分からなくなる | ページごとに断片にし、ページ番号を持たせる |
| 見出しの情報が無い | Markdownと違い、見出しの構造が取り出せない | 見出しの代わりに、ページ番号を出典にする |
筆者の見解として、最初の壁がもっとも重要です。「PDFに対応しています」と言われても、スキャンしたPDFまで読めるとは限りません。 スキャン画像から文字を読み取るにはOCR(=画像から文字を読み取る技術)が別に必要で、精度や費用も変わります。この連載ではOCRは扱わず、「読めなかったことが分かる」ところまでを作ります。
この回で作るもの
| 部品 | ファイル | 役割 |
|---|---|---|
| PDFの読み取り | app/ingest/pdf.py | ページごとに文字を取り出す。取れなかったページ番号も返す |
| 取り込み | app/ingest/loader.py | .pdfも読み込み対象にする |
| 断片化 | app/ingest/chunker.py | PDFはページ単位で断片にし、ページ番号を付ける |
| 保存 | db/migrations/004_page.sql、app/db/store.py | 断片にページ番号の列を足し、保存・検索で返す |
| 出典表示 | app/answer/prompt.py | PDFの出典を「文書名 Nページ」で示す |
| サンプル | tools/make_sample_pdf.py | 動作確認用のPDF(出張旅費規程・2ページ)を作る |
PDFを読む部品には、Pythonで広く使われているpypdfを使います。純粋なPythonで書かれているため、追加の実行ファイルを用意せずに導入できます。バージョンや配布元はPyPIのpypdfのページで確認できます(本連載では6系を固定し、pyproject.tomlに書いています)。
準備:pypdf と reportlab を入れる
第6回までの rag-naibu フォルダで作業します。pypdf(版 6.19.0)を本体の依存に、動作確認用のPDFを作る reportlab(版 5.0.1)を開発用(dev)の依存に足し、入れ直します。reportlab はサンプルPDFの作成とテストでだけ使い、本番には入れません。
pyproject.toml に次の変更を加えます(+ が追加、- が削除)。
--- a/pyproject.toml
+++ b/pyproject.toml
@@ -9,12 +9,14 @@ dependencies = [
"pydantic-settings==2.15.0",
"psycopg[binary]==3.3.6",
"httpx==0.28.1",
+ "pypdf==6.19.0",
]
[project.optional-dependencies]
dev = [
"pytest==9.1.1",
"ruff==0.16.9",
+ "reportlab==5.0.1",
]
[tool.pytest.ini_options]
pip install -e ".[dev]"
mkdir -p tools
📰 出典:pypdf(PyPI)
実装1:PDFをページごとに読む(app/ingest/pdf.py)
PDFを開き、ページごとに文字を取り出します。ここで決めておきたいのは、文字が取れなかったページを、黙って捨てないことです。
# app/ingest/pdf.py
from pathlib import Path
from pypdf import PdfReader
def read_pdf_pages(path: Path) -> tuple[list[tuple[int, str]], list[int]]:
"""PDF をページごとに文字へ直す。戻り値は (文字のあるページ, 文字が取れなかったページ番号)。
ページ番号は1から。スキャンした画像だけのページは文字が取れないので、空ページとして別に返す
(OCR=画像から文字を読み取る処理は、この連載では扱わない)。
"""
reader = PdfReader(path)
if reader.is_encrypted:
raise ValueError(
f"{path.name}: パスワード付きのPDFは読み込めません。解除してから取り込んでください。"
)
pages: list[tuple[int, str]] = []
empty: list[int] = []
for number, page in enumerate(reader.pages, start=1):
text = (page.extract_text() or "").replace("\r\n", "\n").strip()
if text:
pages.append((number, text))
else:
empty.append(number)
return pages, empty
ページ番号は人が数える番号に合わせ、1から始めています。戻り値は「文字のあるページ」と「文字が取れなかったページ番号」の2つです。パスワード付きのPDFは、理由が分かるメッセージを出して止めます。中身が読めないまま「0件登録」と表示されるより、原因に気づけるからです。
実装2:断片にページ番号を持たせる
まず、データベースにpageの列を足します。第3回・第6回と同じく、何度流しても同じ結果になる書き方です。
-- db/migrations/004_page.sql
-- 第7回:PDF由来の断片に、元のページ番号を持たせる。
-- Markdown / テキストの断片は NULL(ページの概念が無い)。出典表示で「3ページ」と示すために使う。
ALTER TABLE chunks ADD COLUMN IF NOT EXISTS page INTEGER;
Markdownやテキストにはページがないため、値はNULL(=空)のままです。次に、DocumentとChunkにページの情報を追加します(app/ingest/models.py)。
app/ingest/models.py に次の変更を加えます(+ が追加、- が削除)。
--- a/app/ingest/models.py
+++ b/app/ingest/models.py
@@ -9,6 +9,10 @@ class Document:
text: str
# 見てよい部署。'all' は全社員向け。
department: str = "all"
+ # PDF の場合の (ページ番号, そのページの文字)。ページ番号は1から。Markdown / テキストでは空。
+ pages: tuple[tuple[int, str], ...] = ()
+ # PDF で、文字を取り出せなかったページ番号(スキャン画像など)。取り込みの警告に使う。
+ empty_pages: tuple[int, ...] = ()
@dataclass(frozen=True)
@@ -20,3 +24,5 @@ class Chunk:
index: int
text: str
department: str = "all"
+ # PDF 由来の断片のとき、元のページ番号(1から)。出典表示に使う。
+ page: int | None = None
断片にする処理(app/ingest/chunker.py)では、PDFだけ「見出しの代わりにページ」で区切ります。
app/ingest/chunker.py に次の変更を加えます(+ が追加、- が削除)。
--- a/app/ingest/chunker.py
+++ b/app/ingest/chunker.py
@@ -76,8 +76,15 @@ def pack_paragraphs(body: str, max_chars: int) -> list[str]:
def chunk_document(document: Document, max_chars: int = 400) -> list[Chunk]:
"""1つの文書を、見出しの範囲を超えない断片(チャンク)に分ける。"""
+ # (見出し, 本文, ページ番号) の並びにそろえる。PDF は見出しを持たず、ページ単位で区切る。
+ # ページをまたいで1つの断片にまとめないので、断片には必ず1つのページ番号が付く。
+ if document.pages:
+ parts = [("", text, number) for number, text in document.pages]
+ else:
+ parts = [(heading, body, None) for heading, body in split_sections(document.text)]
+
chunks: list[Chunk] = []
- for heading, body in split_sections(document.text):
+ for heading, body, page in parts:
for text in pack_paragraphs(body, max_chars):
chunks.append(
Chunk(
@@ -86,6 +93,7 @@ def chunk_document(document: Document, max_chars: int = 400) -> list[Chunk]:
index=len(chunks),
text=text,
department=document.department,
+ page=page,
)
)
return chunks
ページをまたいで1つの断片にまとめないのがポイントです。まとめてしまうと、1つの断片が2ページにまたがり、「何ページに書いてあるか」を1つに決められなくなります。1ページが長すぎる場合は、第1回で作った段落・句点での分割がそのまま働くため、同じページ番号の断片が複数できます。
読み込み側(app/ingest/loader.py)は、拡張子に.pdfを加え、PDFのときだけ上のread_pdf_pagesを呼びます。フォルダ名が部署になる第6回のルールは、PDFにもそのまま効きます。
app/ingest/loader.py に次の変更を加えます(+ が追加、- が削除)。
--- a/app/ingest/loader.py
+++ b/app/ingest/loader.py
@@ -1,13 +1,14 @@
from pathlib import Path
from app.ingest.models import Document
+from app.ingest.pdf import read_pdf_pages
-SUPPORTED_SUFFIXES = {".md", ".txt"}
+SUPPORTED_SUFFIXES = {".md", ".txt", ".pdf"}
DEFAULT_DEPARTMENT = "all"
def load_documents(directory: Path) -> list[Document]:
- """ディレクトリ配下の Markdown / テキストを読み込む(並び順は固定)。
+ """ディレクトリ配下の Markdown / テキスト / PDF を読み込む(並び順は固定)。
部署の決め方:直下のファイルは全社向け('all')、サブフォルダ内のファイルはそのフォルダ名が部署。
例)hr/salary.md → 部署 'hr'
@@ -16,9 +17,22 @@ def load_documents(directory: Path) -> list[Document]:
for path in sorted(directory.rglob("*")):
if not path.is_file() or path.suffix.lower() not in SUPPORTED_SUFFIXES:
continue
+ relative = path.relative_to(directory)
+ department = relative.parts[0] if len(relative.parts) > 1 else DEFAULT_DEPARTMENT
+ source = relative.as_posix()
+ if path.suffix.lower() == ".pdf":
+ pages, empty = read_pdf_pages(path)
+ documents.append(
+ Document(
+ source=source,
+ text="",
+ department=department,
+ pages=tuple(pages),
+ empty_pages=tuple(empty),
+ )
+ )
+ continue
text = path.read_text(encoding="utf-8").replace("\r\n", "\n").strip()
if text:
- relative = path.relative_to(directory)
- department = relative.parts[0] if len(relative.parts) > 1 else DEFAULT_DEPARTMENT
- documents.append(Document(source=relative.as_posix(), text=text, department=department))
+ documents.append(Document(source=source, text=text, department=department))
return documents
実装3:ページ番号を保存し、出典に表示する
保存と検索(app/db/store.py)には、pageを1つ加えるだけです。
app/db/store.py に次の変更を加えます(+ が追加、- が削除)。
--- a/app/db/store.py
+++ b/app/db/store.py
@@ -27,8 +27,8 @@ def save_chunks(
conn.execute("DELETE FROM chunks WHERE source = ANY(%s)", (sources,))
with conn.cursor() as cur:
cur.executemany(
- "INSERT INTO chunks (source, heading, chunk_index, body, department, embedding)"
- " VALUES (%s, %s, %s, %s, %s, %s::vector)",
+ "INSERT INTO chunks (source, heading, chunk_index, body, department, page, embedding)"
+ " VALUES (%s, %s, %s, %s, %s, %s, %s::vector)",
[
(
c.source,
@@ -36,6 +36,7 @@ def save_chunks(
c.index,
c.text,
c.department,
+ c.page,
to_vector_literal(embedder.embed(c.text)) if embedder else None,
)
for c in chunks
@@ -63,6 +64,8 @@ class SearchHit:
heading: str
body: str
distance: float
+ # PDF 由来の断片の元ページ番号(1から)。Markdown / テキストでは None。
+ page: int | None = None
def search_chunks(
@@ -79,7 +82,7 @@ def search_chunks(
"""
query = to_vector_literal(embedder.embed(question))
rows = conn.execute(
- "SELECT source, heading, body, embedding <=> %s::vector AS distance"
+ "SELECT source, heading, body, embedding <=> %s::vector AS distance, page"
" FROM chunks WHERE embedding IS NOT NULL AND department = ANY(%s)"
" ORDER BY embedding <=> %s::vector LIMIT %s",
(query, departments, query, limit),
出典の表示名を作る部分(app/answer/prompt.py)では、ページがあれば「文書名 Nページ」にします。
app/answer/prompt.py に次の変更を加えます(+ が追加、- が削除)。
--- a/app/answer/prompt.py
+++ b/app/answer/prompt.py
@@ -12,7 +12,9 @@ SYSTEM_PROMPT = f"""あなたは社内ナレッジ検索のアシスタントで
def source_label(hit: SearchHit) -> str:
- """出典の表示名。「文書名 > 見出し」の形。"""
+ """出典の表示名。「文書名 > 見出し」の形。PDFは見出しの代わりにページ番号を付ける。"""
+ if hit.page is not None:
+ return f"{hit.source} {hit.page}ページ"
return f"{hit.source} > {hit.heading}" if hit.heading else hit.source
この関数は、AIに渡す文書の見出しと、利用者に返す出典の両方で使っています。そのため、回答処理(app/answer/service.py)は1行も変えずに、PDFの出典がページ番号つきで出ます。
検索コマンドも、出典の表示にこの関数を使うように直します。
app/search/__main__.py に次の変更を加えます(+ が追加、- が削除)。
--- a/app/search/__main__.py
+++ b/app/search/__main__.py
@@ -1,5 +1,6 @@
import sys
+from app.answer.prompt import source_label
from app.config import get_settings
from app.db.store import connect, search_chunks
from app.search.embedder import HashingEmbedder
@@ -11,7 +12,7 @@ def main() -> None:
departments = ["all", *(sys.argv[2].split(",") if len(sys.argv) > 2 else [])]
with connect(get_settings().database_url) as conn:
for hit in search_chunks(conn, HashingEmbedder(), question, departments):
- print(f"{hit.distance:.3f} {hit.source} > {hit.heading}")
+ print(f"{hit.distance:.3f} {source_label(hit)}")
if __name__ == "__main__":
取り込みの確認コマンドは、PDFのページ番号と、文字が取れなかったページの警告を表示するようにします。
app/ingest/__main__.py に次の変更を加えます(+ が追加、- が削除)。
--- a/app/ingest/__main__.py
+++ b/app/ingest/__main__.py
@@ -12,9 +12,14 @@ def main() -> None:
chunks = chunk_document(document)
total += len(chunks)
print(f"{document.source} (部署: {document.department}): {len(chunks)}件")
+ if document.empty_pages:
+ pages = ",".join(str(p) for p in document.empty_pages)
+ print(
+ f" ※ {pages}ページは文字を取り出せませんでした(スキャン画像の可能性。検索の対象外)"
+ )
for chunk in chunks:
head = chunk.text.replace("\n", " ")[:30]
- place = chunk.heading or "(見出しなし)"
+ place = f"{chunk.page}ページ" if chunk.page else chunk.heading or "(見出しなし)"
print(f" [{chunk.index}] {place} / {len(chunk.text)}文字 / {head}…")
print(f"合計 {total}件")
動作確認:PDFを取り込んで質問する
サンプルのPDF(sample_docs/business-trip.pdf)は、次の tools/make_sample_pdf.py で作ります。架空の出張旅費規程が2ページ入っています。日本語フォントは reportlab が持つ標準のフォント名を指定するので、フォントファイルを用意する必要はありません。
# tools/make_sample_pdf.py
"""動作確認用のサンプルPDF(出張旅費規程・2ページ)を作る。reportlab は開発用の依存。
使い方: python tools/make_sample_pdf.py → sample_docs/business-trip.pdf
"""
from pathlib import Path
from reportlab.pdfbase import pdfmetrics
from reportlab.pdfbase.cidfonts import UnicodeCIDFont
from reportlab.pdfgen import canvas
FONT = "HeiseiKakuGo-W5" # PDFに標準で入っている日本語フォント名(フォントファイル不要)
PAGES = [
[
"出張旅費規程",
"",
"第1条(日当)",
"国内出張の日当は、1日あたり3,000円とする。",
"日帰り出張で移動が片道100キロ未満の場合は、日当を支給しない。",
],
[
"第2条(宿泊費)",
"宿泊を伴う出張の宿泊費は、1泊あたり10,000円を上限とする。",
"",
"第3条(精算)",
"出張から戻った日の翌営業日までに、領収書を添えて精算を申請する。",
],
]
def make(path: Path) -> None:
pdfmetrics.registerFont(UnicodeCIDFont(FONT))
pdf = canvas.Canvas(str(path))
for lines in PAGES:
pdf.setFont(FONT, 12) # ページが変わるとフォント指定が戻るので、毎ページ指定する
y = 780
for line in lines:
pdf.drawString(72, y, line)
y -= 24
pdf.showPage()
pdf.save()
if __name__ == "__main__":
target = Path(__file__).resolve().parents[1] / "sample_docs" / "business-trip.pdf"
make(target)
print(f"作成しました: {target}")
python tools/make_sample_pdf.py
取り込みの確認コマンドは次のとおりです。
python -m app.ingest sample_docs
business-trip.pdf (部署: all): 2件
[0] 1ページ / 72文字 / 出張旅費規程 第1条(日当) 国内出張の日当は、1日あたり3…
[1] 2ページ / 82文字 / 第2条(宿泊費) 宿泊を伴う出張の宿泊費は、1泊あたり10,…
expense.txt (部署: all): 1件
...
データベースに保存して検索すると、PDFの断片がページ番号つきで返ります。
python -m app.db sample_docs
python -m app.search "宿泊費の上限はいくら?"
0.769 business-trip.pdf 2ページ
0.850 vacation.md > 休暇規程(サンプル) > 特別休暇 > 慶弔休暇
0.885 expense.txt
/api/askで質問したときのsourcesにも、"business-trip.pdf 2ページ"が入ります。なお、この確認は開発環境(PostgreSQL 16 + pgvector)で、生成AIのAPIキーを設定しない状態で行いました。そのため、回答文は「開発用の仮回答」で、有効なAPIキーでの回答内容は確認していません。また、第2回と同様にDockerでの起動は今回の環境では確認できていません(追記時に、Docker Compose で起動したDBで上の手順と結果を確認しました)。
自動テストは、今回追加した7件を含めて41件が成功しています(pytest・ruff check)。スキャン画像相当のページ(文字が無いページ)が警告側に分類されること、パスワード付きPDFがわかりやすいエラーになること、ページ番号が断片・保存・検索の結果まで引き継がれることを確かめています。
PDFのテストは新しいファイルにします。テストの中で reportlab を使い、文字の無いページを含むPDFや、パスワード付きのPDFをその場で作って確かめます。
# tests/test_pdf.py
from pathlib import Path
import pytest
from reportlab.pdfgen import canvas
from app.answer.prompt import source_label
from app.db.store import SearchHit
from app.ingest.chunker import chunk_document
from app.ingest.loader import load_documents
from app.ingest.pdf import read_pdf_pages
SAMPLE = Path(__file__).resolve().parent.parent / "sample_docs"
def test_read_pdf_pages_keeps_page_numbers():
pages, empty = read_pdf_pages(SAMPLE / "business-trip.pdf")
assert [n for n, _ in pages] == [1, 2]
assert "日当は、1日あたり3,000円" in pages[0][1]
assert "1泊あたり10,000円" in pages[1][1]
assert empty == []
def test_chunks_carry_their_page_number():
(document,) = [d for d in load_documents(SAMPLE) if d.source == "business-trip.pdf"]
chunks = chunk_document(document)
assert [c.page for c in chunks] == [1, 2]
assert [c.index for c in chunks] == [0, 1]
assert all(c.heading == "" for c in chunks)
def test_markdown_chunks_have_no_page():
(document,) = [d for d in load_documents(SAMPLE) if d.source == "vacation.md"]
assert all(c.page is None for c in chunk_document(document))
def test_page_without_text_is_reported_not_silently_dropped(tmp_path: Path):
# 2ページ目に文字が無いPDF(スキャン画像だけのページを想定)
path = tmp_path / "scan.pdf"
pdf = canvas.Canvas(str(path))
pdf.drawString(72, 760, "Page one text")
pdf.showPage()
pdf.showPage() # 何も描かない
pdf.save()
(document,) = load_documents(tmp_path)
assert [n for n, _ in document.pages] == [1]
assert document.empty_pages == (2,)
assert [c.page for c in chunk_document(document)] == [1]
def test_encrypted_pdf_is_rejected_with_clear_message(tmp_path: Path):
path = tmp_path / "locked.pdf"
pdf = canvas.Canvas(str(path), encrypt="secret")
pdf.drawString(72, 760, "hidden")
pdf.save()
with pytest.raises(ValueError, match="パスワード付き"):
read_pdf_pages(path)
def test_source_label_shows_page_for_pdf():
pdf_hit = SearchHit("business-trip.pdf", "", "本文", 0.2, page=2)
md_hit = SearchHit("vacation.md", "休暇 > 半日", "本文", 0.2)
assert source_label(pdf_hit) == "business-trip.pdf 2ページ"
assert source_label(md_hit) == "vacation.md > 休暇 > 半日"
サンプル文書にPDFが加わったので、既存のテストの期待値を直します。
tests/test_ingest.py に次の変更を加えます(+ が追加、- が削除)。
--- a/tests/test_ingest.py
+++ b/tests/test_ingest.py
@@ -7,9 +7,10 @@ from app.ingest.models import Document
SAMPLE = Path(__file__).resolve().parent.parent / "sample_docs"
-def test_load_documents_reads_md_and_txt():
+def test_load_documents_reads_md_txt_and_pdf():
sources = [d.source for d in load_documents(SAMPLE)]
assert sources == [
+ "business-trip.pdf",
"expense.txt",
"hr/salary-grade.md",
"sales/discount-policy.md",
@@ -46,6 +47,7 @@ def test_text_without_heading_is_one_section():
def test_department_comes_from_folder_name():
departments = {d.source: d.department for d in load_documents(SAMPLE)}
assert departments == {
+ "business-trip.pdf": "all",
"expense.txt": "all",
"hr/salary-grade.md": "hr",
"sales/discount-policy.md": "sales",
tests/test_store.py に次の変更を加えます(+ が追加、- が削除)。
--- a/tests/test_store.py
+++ b/tests/test_store.py
@@ -122,3 +122,16 @@ def test_ask_api_hides_other_departments(conn: psycopg.Connection, monkeypatch):
get_settings.cache_clear()
assert "hr/salary.md" not in [h["source"] for h in as_staff.json()["hits"]]
assert as_hr.json()["hits"][0]["source"] == "hr/salary.md"
+
+
+def test_pdf_page_is_saved_and_returned(conn: psycopg.Connection):
+ save_chunks(
+ conn,
+ [
+ Chunk("trip.pdf", "", 0, "日当は1日あたり3,000円とする。", page=1),
+ Chunk("trip.pdf", "", 1, "宿泊費は1泊あたり10,000円を上限とする。", page=2),
+ ],
+ HashingEmbedder(),
+ )
+ hits = search_chunks(conn, HashingEmbedder(), "宿泊費の上限は?", ["all"], limit=1)
+ assert (hits[0].source, hits[0].page) == ("trip.pdf", 2)
ruff check .
TEST_DATABASE_URL=postgresql://rag:rag_local_only@localhost:5432/rag_test pytest
つまずきやすい点・運用上の注意
- PDFの文字の並びは、見た目どおりとは限りません。 段組みや表は、文章の順序が入れ替わって取り出されることがあります。重要な規程は、取り込み後に「期待した文章として読めているか」を人が確認してください
- 文字が取れないPDFは検索に出ません。 取り込みの警告(「Nページは文字を取り出せませんでした」)を運用で見逃さない仕組みが必要です
- PDFを作り直したら、取り込み直します。 第2回で作ったとおり、同じ文書は入れ替わるため、ページ数が減っても古い断片は残りません
- ページ番号はPDFの通し番号です。 紙面に印字されたページ数(表紙を数えない等)とは、ずれることがあります
- 実際のPDFでも確認してください。 今回は日本語フォントを指定して作った小さなPDFで確認しています。フォントの埋め込み方や作成ソフトによっては、文字が正しく取り出せない場合があります
発注者向けメモ:PDF対応を頼むときの確認点
「PDFに対応」とひと言で言っても、範囲は大きく異なります。見積もりの前に、次の点を開発会社に確認しておくと、後から「これは対応外でした」となりにくくなります。
- ☐ 手元のPDFの種類を分けている(文字が選択できるPDFか、スキャンした画像か)
- ☐ スキャンしたPDFも対象にしたいかを決めている(対象ならOCRが別途必要で、費用も精度の確認も増える)
- ☐ 表・段組み・図が多い文書で、実際のPDFを使って読み取りを試してもらえる
- ☐ 回答の出典が、文書名とページ番号まで示される
- ☐ 文字が読めなかったPDFや、パスワード付きPDFが見つかったとき、誰にどう知らせるかが決まっている
- ☐ PDFが更新されたとき、検索の内容を入れ替える手順と担当が決まっている
開発会社に聞く質問例は次のとおりです。
- 「実際にうちのPDFを3〜5本お渡ししたら、取り込んで、読み取り結果を見せてもらえますか」
- 「スキャンしたPDFが混ざっていたときは、どのように扱われますか。OCRを使う場合は、費用と精度の見通しを教えてください」
- 「回答の出典に、ページ番号は出ますか。PDFの通し番号と、紙面のページ数がずれる場合はどうしますか」
工数やリスクが増えやすい条件
- スキャン画像のPDFが多い(OCRの導入と、読み取り結果の確認が必要)
- 表や段組みが多く、文章の順序が崩れやすい
- PDFの本数が多く、更新の頻度も高い(取り込みの自動化や差分更新が必要)
- 部署ごとの権限が細かく、PDFの置き場所と権限をそろえる必要がある
まとめと次回予告
今回のポイントは次の3つです。
- PDFはページごとに文字を取り出し、断片にページ番号を持たせると、「文書名 Nページ」の出典が出せる
- 文字が取れないPDF(スキャン画像)は、警告として残し、黙って見逃さない。読ませるにはOCRが別に必要
- 出典の表示名を作る関数を1か所にそろえておいたので、回答処理は変えずにPDFに対応できた
次回は第8回として、回答の品質を自動テストで測る方法を扱います。「文書に無いことは無いと答える」「出典が正しい」といった確認を、評価用の質問集にして繰り返し確かめられるようにする予定です(タイトル案:【第8回】社内ナレッジ検索の回答品質を、自動テストで測り続ける)。
この連載の記事一覧
この記事は連載「FastAPIで作る社内ナレッジ検索(RAG)」の1回です。連載のほかの回は次のとおりです(連載の一覧ページ)。
- 【FastAPIで作る社内ナレッジ検索(RAG) 第0回】全体像と、動く最小APIを作る
- 【FastAPIで作る社内ナレッジ検索(RAG) 第1回】社内文書を読み込んで、検索しやすい断片に分ける
- 【FastAPIで作る社内ナレッジ検索(RAG) 第2回】PostgreSQLとpgvectorをDocker Composeで動かし、文書の断片を保存する
- 【FastAPIで作る社内ナレッジ検索(RAG) 第3回】質問に近い社内文書を探す(ベクトル検索)を実装する
- 【FastAPIで作る社内ナレッジ検索(RAG) 第4回】見つけた社内文書を根拠に、出典つきで生成AIに回答させる
- 【FastAPIで作る社内ナレッジ検索(RAG) 第5回】答えが社内文書に無いときは「見つかりません」と返す仕組みを作る
- 【FastAPIで作る社内ナレッジ検索(RAG) 第6回】部署ごとに見てよい文書だけを検索する、アクセス制御を実装する
- 【FastAPIで作る社内ナレッジ検索(RAG) 第7回】社内のPDFを取り込み、ページ番号つきの出典で答えさせる(この記事)
- 【FastAPIで作る社内ナレッジ検索(RAG) 第8回】回答の品質を評価ケースで測り、直したつもりの後退を自動テストで見つける
- 【FastAPIで作る社内ナレッジ検索(RAG) 第9回】社内AIチャットをGoogle Cloud Runに公開する。コンテナ化・シークレット・DB接続・運用の注意










コメント
コメント一覧 (4件)
[…] […]
[…] 社内AIチャットは、作った直後よりも「直したあと」のほうが怖い仕組みです。しきい値を少し変えた、文書を入れ替えた、AIのモデルを新しくした。どれも小さな変更なのに、ある質問には答えられなくなったり、見てはいけない部署の文書が出てしまったりします。しかも画面で数件試しただけでは気づけません。第7回ではPDFを取り込み、ページ番号つきの出典で答えさせるところまで作りました。 […]
[…] […]
[…] […]