MENU

問い合わせ

    お問い合わせ


    【FastAPIで作る社内ナレッジ検索(RAG) 第7回】社内のPDFを取り込み、ページ番号つきの出典で答えさせる

    (2026年10月29日 追記:記事どおりに再現できるよう、必要なコードと手順を追加しました)

    社内のルールや規程は、Wordで書かれたものよりも、PDFで配られているもののほうが多いかもしれません。社内AIチャットに質問しても「PDFは読めません」では、現場では使ってもらえません。第6回では、部署ごとに見てよい文書だけを検索する仕組みを作りました。第7回では、PDFを取り込み、「どのPDFの何ページか」まで示して答えさせる部分を実装します。

    前回の記事:【第6回】部署ごとに見てよい文書だけを検索する、アクセス制御を実装する

    「社内の規程はほとんどPDFです。AIに質問して答えが返ってきても、PDFのどこに書いてあるのか分からないと、結局自分で確認し直すことになりませんか?」

    先に結論をお伝えします。PDFの取り込みは「ページごとに文字を取り出し、断片にページ番号を持たせる」だけで実現できます。 そうすれば、回答の出典を「出張旅費規程.pdf 2ページ」の形で示せます。ただし、文字が埋め込まれていないPDF(紙をスキャンしただけのもの)は、この方法では読めません。読めなかったことを黙って見逃さず、警告として残す作りにしておくのが、運用では大切です。

    この記事では、PDFからの文字の取り出し、ページ番号を出典に反映する方法、読めないPDFの扱いを実装します。あわせて、社内文書検索を開発会社に頼むときに「PDFが読めるか」を確認する観点も整理します。

    目次

    PDFを社内文書検索で扱うときの3つの壁

    PDFは「見た目を固定するための形式」です。人が読む分には便利ですが、プログラムが文章として読むには、次のような壁があります。

    壁内容この回の対応
    文字が無いPDF紙をスキャンした画像だけのPDFは、文字のデータを持たない読めなかったページを警告として表示し、検索の対象外にする
    ページの区切り文書全体を1つにつなぐと、どのページの話か分からなくなるページごとに断片にし、ページ番号を持たせる
    見出しの情報が無いMarkdownと違い、見出しの構造が取り出せない見出しの代わりに、ページ番号を出典にする

    筆者の見解として、最初の壁がもっとも重要です。「PDFに対応しています」と言われても、スキャンしたPDFまで読めるとは限りません。 スキャン画像から文字を読み取るにはOCR(=画像から文字を読み取る技術)が別に必要で、精度や費用も変わります。この連載ではOCRは扱わず、「読めなかったことが分かる」ところまでを作ります。

    この回で作るもの

    部品ファイル役割
    PDFの読み取りapp/ingest/pdf.pyページごとに文字を取り出す。取れなかったページ番号も返す
    取り込みapp/ingest/loader.py.pdfも読み込み対象にする
    断片化app/ingest/chunker.pyPDFはページ単位で断片にし、ページ番号を付ける
    保存db/migrations/004_page.sql、app/db/store.py断片にページ番号の列を足し、保存・検索で返す
    出典表示app/answer/prompt.pyPDFの出典を「文書名 Nページ」で示す
    サンプルtools/make_sample_pdf.py動作確認用のPDF(出張旅費規程・2ページ)を作る

    PDFを読む部品には、Pythonで広く使われているpypdfを使います。純粋なPythonで書かれているため、追加の実行ファイルを用意せずに導入できます。バージョンや配布元はPyPIのpypdfのページで確認できます(本連載では6系を固定し、pyproject.tomlに書いています)。

    準備:pypdf と reportlab を入れる

    第6回までの rag-naibu フォルダで作業します。pypdf(版 6.19.0)を本体の依存に、動作確認用のPDFを作る reportlab(版 5.0.1)を開発用(dev)の依存に足し、入れ直します。reportlab はサンプルPDFの作成とテストでだけ使い、本番には入れません。

    pyproject.toml に次の変更を加えます(+ が追加、- が削除)。

    --- a/pyproject.toml
    +++ b/pyproject.toml
    @@ -9,12 +9,14 @@ dependencies = [
         "pydantic-settings==2.15.0",
         "psycopg[binary]==3.3.6",
         "httpx==0.28.1",
    +    "pypdf==6.19.0",
     ]
     
     [project.optional-dependencies]
     dev = [
         "pytest==9.1.1",
         "ruff==0.16.9",
    +    "reportlab==5.0.1",
     ]
     
     [tool.pytest.ini_options]
    pip install -e ".[dev]"
    mkdir -p tools

    📰 出典:pypdf(PyPI)

    実装1:PDFをページごとに読む(app/ingest/pdf.py)

    PDFを開き、ページごとに文字を取り出します。ここで決めておきたいのは、文字が取れなかったページを、黙って捨てないことです。

    # app/ingest/pdf.py
    from pathlib import Path
    
    from pypdf import PdfReader
    
    
    def read_pdf_pages(path: Path) -> tuple[list[tuple[int, str]], list[int]]:
        """PDF をページごとに文字へ直す。戻り値は (文字のあるページ, 文字が取れなかったページ番号)。
    
        ページ番号は1から。スキャンした画像だけのページは文字が取れないので、空ページとして別に返す
        (OCR=画像から文字を読み取る処理は、この連載では扱わない)。
        """
        reader = PdfReader(path)
        if reader.is_encrypted:
            raise ValueError(
                f"{path.name}: パスワード付きのPDFは読み込めません。解除してから取り込んでください。"
            )
        pages: list[tuple[int, str]] = []
        empty: list[int] = []
        for number, page in enumerate(reader.pages, start=1):
            text = (page.extract_text() or "").replace("\r\n", "\n").strip()
            if text:
                pages.append((number, text))
            else:
                empty.append(number)
        return pages, empty

    ページ番号は人が数える番号に合わせ、1から始めています。戻り値は「文字のあるページ」と「文字が取れなかったページ番号」の2つです。パスワード付きのPDFは、理由が分かるメッセージを出して止めます。中身が読めないまま「0件登録」と表示されるより、原因に気づけるからです。

    実装2:断片にページ番号を持たせる

    まず、データベースにpageの列を足します。第3回・第6回と同じく、何度流しても同じ結果になる書き方です。

    -- db/migrations/004_page.sql
    -- 第7回:PDF由来の断片に、元のページ番号を持たせる。
    -- Markdown / テキストの断片は NULL(ページの概念が無い)。出典表示で「3ページ」と示すために使う。
    ALTER TABLE chunks ADD COLUMN IF NOT EXISTS page INTEGER;

    Markdownやテキストにはページがないため、値はNULL(=空)のままです。次に、DocumentとChunkにページの情報を追加します(app/ingest/models.py)。

    app/ingest/models.py に次の変更を加えます(+ が追加、- が削除)。

    --- a/app/ingest/models.py
    +++ b/app/ingest/models.py
    @@ -9,6 +9,10 @@ class Document:
         text: str
         # 見てよい部署。'all' は全社員向け。
         department: str = "all"
    +    # PDF の場合の (ページ番号, そのページの文字)。ページ番号は1から。Markdown / テキストでは空。
    +    pages: tuple[tuple[int, str], ...] = ()
    +    # PDF で、文字を取り出せなかったページ番号(スキャン画像など)。取り込みの警告に使う。
    +    empty_pages: tuple[int, ...] = ()
     
     
     @dataclass(frozen=True)
    @@ -20,3 +24,5 @@ class Chunk:
         index: int
         text: str
         department: str = "all"
    +    # PDF 由来の断片のとき、元のページ番号(1から)。出典表示に使う。
    +    page: int | None = None

    断片にする処理(app/ingest/chunker.py)では、PDFだけ「見出しの代わりにページ」で区切ります。

    app/ingest/chunker.py に次の変更を加えます(+ が追加、- が削除)。

    --- a/app/ingest/chunker.py
    +++ b/app/ingest/chunker.py
    @@ -76,8 +76,15 @@ def pack_paragraphs(body: str, max_chars: int) -> list[str]:
     
     def chunk_document(document: Document, max_chars: int = 400) -> list[Chunk]:
         """1つの文書を、見出しの範囲を超えない断片(チャンク)に分ける。"""
    +    # (見出し, 本文, ページ番号) の並びにそろえる。PDF は見出しを持たず、ページ単位で区切る。
    +    # ページをまたいで1つの断片にまとめないので、断片には必ず1つのページ番号が付く。
    +    if document.pages:
    +        parts = [("", text, number) for number, text in document.pages]
    +    else:
    +        parts = [(heading, body, None) for heading, body in split_sections(document.text)]
    +
         chunks: list[Chunk] = []
    -    for heading, body in split_sections(document.text):
    +    for heading, body, page in parts:
             for text in pack_paragraphs(body, max_chars):
                 chunks.append(
                     Chunk(
    @@ -86,6 +93,7 @@ def chunk_document(document: Document, max_chars: int = 400) -> list[Chunk]:
                         index=len(chunks),
                         text=text,
                         department=document.department,
    +                    page=page,
                     )
                 )
         return chunks

    ページをまたいで1つの断片にまとめないのがポイントです。まとめてしまうと、1つの断片が2ページにまたがり、「何ページに書いてあるか」を1つに決められなくなります。1ページが長すぎる場合は、第1回で作った段落・句点での分割がそのまま働くため、同じページ番号の断片が複数できます。

    読み込み側(app/ingest/loader.py)は、拡張子に.pdfを加え、PDFのときだけ上のread_pdf_pagesを呼びます。フォルダ名が部署になる第6回のルールは、PDFにもそのまま効きます。

    app/ingest/loader.py に次の変更を加えます(+ が追加、- が削除)。

    --- a/app/ingest/loader.py
    +++ b/app/ingest/loader.py
    @@ -1,13 +1,14 @@
     from pathlib import Path
     
     from app.ingest.models import Document
    +from app.ingest.pdf import read_pdf_pages
     
    -SUPPORTED_SUFFIXES = {".md", ".txt"}
    +SUPPORTED_SUFFIXES = {".md", ".txt", ".pdf"}
     DEFAULT_DEPARTMENT = "all"
     
     
     def load_documents(directory: Path) -> list[Document]:
    -    """ディレクトリ配下の Markdown / テキストを読み込む(並び順は固定)。
    +    """ディレクトリ配下の Markdown / テキスト / PDF を読み込む(並び順は固定)。
     
         部署の決め方:直下のファイルは全社向け('all')、サブフォルダ内のファイルはそのフォルダ名が部署。
         例)hr/salary.md → 部署 'hr'
    @@ -16,9 +17,22 @@ def load_documents(directory: Path) -> list[Document]:
         for path in sorted(directory.rglob("*")):
             if not path.is_file() or path.suffix.lower() not in SUPPORTED_SUFFIXES:
                 continue
    +        relative = path.relative_to(directory)
    +        department = relative.parts[0] if len(relative.parts) > 1 else DEFAULT_DEPARTMENT
    +        source = relative.as_posix()
    +        if path.suffix.lower() == ".pdf":
    +            pages, empty = read_pdf_pages(path)
    +            documents.append(
    +                Document(
    +                    source=source,
    +                    text="",
    +                    department=department,
    +                    pages=tuple(pages),
    +                    empty_pages=tuple(empty),
    +                )
    +            )
    +            continue
             text = path.read_text(encoding="utf-8").replace("\r\n", "\n").strip()
             if text:
    -            relative = path.relative_to(directory)
    -            department = relative.parts[0] if len(relative.parts) > 1 else DEFAULT_DEPARTMENT
    -            documents.append(Document(source=relative.as_posix(), text=text, department=department))
    +            documents.append(Document(source=source, text=text, department=department))
         return documents

    実装3:ページ番号を保存し、出典に表示する

    保存と検索(app/db/store.py)には、pageを1つ加えるだけです。

    app/db/store.py に次の変更を加えます(+ が追加、- が削除)。

    --- a/app/db/store.py
    +++ b/app/db/store.py
    @@ -27,8 +27,8 @@ def save_chunks(
             conn.execute("DELETE FROM chunks WHERE source = ANY(%s)", (sources,))
             with conn.cursor() as cur:
                 cur.executemany(
    -                "INSERT INTO chunks (source, heading, chunk_index, body, department, embedding)"
    -                " VALUES (%s, %s, %s, %s, %s, %s::vector)",
    +                "INSERT INTO chunks (source, heading, chunk_index, body, department, page, embedding)"
    +                " VALUES (%s, %s, %s, %s, %s, %s, %s::vector)",
                     [
                         (
                             c.source,
    @@ -36,6 +36,7 @@ def save_chunks(
                             c.index,
                             c.text,
                             c.department,
    +                        c.page,
                             to_vector_literal(embedder.embed(c.text)) if embedder else None,
                         )
                         for c in chunks
    @@ -63,6 +64,8 @@ class SearchHit:
         heading: str
         body: str
         distance: float
    +    # PDF 由来の断片の元ページ番号(1から)。Markdown / テキストでは None。
    +    page: int | None = None
     
     
     def search_chunks(
    @@ -79,7 +82,7 @@ def search_chunks(
         """
         query = to_vector_literal(embedder.embed(question))
         rows = conn.execute(
    -        "SELECT source, heading, body, embedding <=> %s::vector AS distance"
    +        "SELECT source, heading, body, embedding <=> %s::vector AS distance, page"
             " FROM chunks WHERE embedding IS NOT NULL AND department = ANY(%s)"
             " ORDER BY embedding <=> %s::vector LIMIT %s",
             (query, departments, query, limit),

    出典の表示名を作る部分(app/answer/prompt.py)では、ページがあれば「文書名 Nページ」にします。

    app/answer/prompt.py に次の変更を加えます(+ が追加、- が削除)。

    --- a/app/answer/prompt.py
    +++ b/app/answer/prompt.py
    @@ -12,7 +12,9 @@ SYSTEM_PROMPT = f"""あなたは社内ナレッジ検索のアシスタントで
     
     
     def source_label(hit: SearchHit) -> str:
    -    """出典の表示名。「文書名 > 見出し」の形。"""
    +    """出典の表示名。「文書名 > 見出し」の形。PDFは見出しの代わりにページ番号を付ける。"""
    +    if hit.page is not None:
    +        return f"{hit.source} {hit.page}ページ"
         return f"{hit.source} > {hit.heading}" if hit.heading else hit.source
     
     

    この関数は、AIに渡す文書の見出しと、利用者に返す出典の両方で使っています。そのため、回答処理(app/answer/service.py)は1行も変えずに、PDFの出典がページ番号つきで出ます。

    検索コマンドも、出典の表示にこの関数を使うように直します。

    app/search/__main__.py に次の変更を加えます(+ が追加、- が削除)。

    --- a/app/search/__main__.py
    +++ b/app/search/__main__.py
    @@ -1,5 +1,6 @@
     import sys
     
    +from app.answer.prompt import source_label
     from app.config import get_settings
     from app.db.store import connect, search_chunks
     from app.search.embedder import HashingEmbedder
    @@ -11,7 +12,7 @@ def main() -> None:
         departments = ["all", *(sys.argv[2].split(",") if len(sys.argv) > 2 else [])]
         with connect(get_settings().database_url) as conn:
             for hit in search_chunks(conn, HashingEmbedder(), question, departments):
    -            print(f"{hit.distance:.3f}  {hit.source} > {hit.heading}")
    +            print(f"{hit.distance:.3f}  {source_label(hit)}")
     
     
     if __name__ == "__main__":

    取り込みの確認コマンドは、PDFのページ番号と、文字が取れなかったページの警告を表示するようにします。

    app/ingest/__main__.py に次の変更を加えます(+ が追加、- が削除)。

    --- a/app/ingest/__main__.py
    +++ b/app/ingest/__main__.py
    @@ -12,9 +12,14 @@ def main() -> None:
             chunks = chunk_document(document)
             total += len(chunks)
             print(f"{document.source} (部署: {document.department}): {len(chunks)}件")
    +        if document.empty_pages:
    +            pages = ",".join(str(p) for p in document.empty_pages)
    +            print(
    +                f"  ※ {pages}ページは文字を取り出せませんでした(スキャン画像の可能性。検索の対象外)"
    +            )
             for chunk in chunks:
                 head = chunk.text.replace("\n", " ")[:30]
    -            place = chunk.heading or "(見出しなし)"
    +            place = f"{chunk.page}ページ" if chunk.page else chunk.heading or "(見出しなし)"
                 print(f"  [{chunk.index}] {place} / {len(chunk.text)}文字 / {head}…")
         print(f"合計 {total}件")
     

    動作確認:PDFを取り込んで質問する

    サンプルのPDF(sample_docs/business-trip.pdf)は、次の tools/make_sample_pdf.py で作ります。架空の出張旅費規程が2ページ入っています。日本語フォントは reportlab が持つ標準のフォント名を指定するので、フォントファイルを用意する必要はありません。

    # tools/make_sample_pdf.py
    """動作確認用のサンプルPDF(出張旅費規程・2ページ)を作る。reportlab は開発用の依存。
    
    使い方: python tools/make_sample_pdf.py   → sample_docs/business-trip.pdf
    """
    
    from pathlib import Path
    
    from reportlab.pdfbase import pdfmetrics
    from reportlab.pdfbase.cidfonts import UnicodeCIDFont
    from reportlab.pdfgen import canvas
    
    FONT = "HeiseiKakuGo-W5"  # PDFに標準で入っている日本語フォント名(フォントファイル不要)
    
    PAGES = [
        [
            "出張旅費規程",
            "",
            "第1条(日当)",
            "国内出張の日当は、1日あたり3,000円とする。",
            "日帰り出張で移動が片道100キロ未満の場合は、日当を支給しない。",
        ],
        [
            "第2条(宿泊費)",
            "宿泊を伴う出張の宿泊費は、1泊あたり10,000円を上限とする。",
            "",
            "第3条(精算)",
            "出張から戻った日の翌営業日までに、領収書を添えて精算を申請する。",
        ],
    ]
    
    
    def make(path: Path) -> None:
        pdfmetrics.registerFont(UnicodeCIDFont(FONT))
        pdf = canvas.Canvas(str(path))
        for lines in PAGES:
            pdf.setFont(FONT, 12)  # ページが変わるとフォント指定が戻るので、毎ページ指定する
            y = 780
            for line in lines:
                pdf.drawString(72, y, line)
                y -= 24
            pdf.showPage()
        pdf.save()
    
    
    if __name__ == "__main__":
        target = Path(__file__).resolve().parents[1] / "sample_docs" / "business-trip.pdf"
        make(target)
        print(f"作成しました: {target}")
    python tools/make_sample_pdf.py

    取り込みの確認コマンドは次のとおりです。

    python -m app.ingest sample_docs
    business-trip.pdf (部署: all): 2件
      [0] 1ページ / 72文字 / 出張旅費規程 第1条(日当) 国内出張の日当は、1日あたり3…
      [1] 2ページ / 82文字 / 第2条(宿泊費) 宿泊を伴う出張の宿泊費は、1泊あたり10,…
    expense.txt (部署: all): 1件
    ...

    データベースに保存して検索すると、PDFの断片がページ番号つきで返ります。

    python -m app.db sample_docs
    python -m app.search "宿泊費の上限はいくら?"
    0.769  business-trip.pdf 2ページ
    0.850  vacation.md > 休暇規程(サンプル) > 特別休暇 > 慶弔休暇
    0.885  expense.txt

    /api/askで質問したときのsourcesにも、"business-trip.pdf 2ページ"が入ります。なお、この確認は開発環境(PostgreSQL 16 + pgvector)で、生成AIのAPIキーを設定しない状態で行いました。そのため、回答文は「開発用の仮回答」で、有効なAPIキーでの回答内容は確認していません。また、第2回と同様にDockerでの起動は今回の環境では確認できていません(追記時に、Docker Compose で起動したDBで上の手順と結果を確認しました)。

    自動テストは、今回追加した7件を含めて41件が成功しています(pytest・ruff check)。スキャン画像相当のページ(文字が無いページ)が警告側に分類されること、パスワード付きPDFがわかりやすいエラーになること、ページ番号が断片・保存・検索の結果まで引き継がれることを確かめています。

    PDFのテストは新しいファイルにします。テストの中で reportlab を使い、文字の無いページを含むPDFや、パスワード付きのPDFをその場で作って確かめます。

    # tests/test_pdf.py
    from pathlib import Path
    
    import pytest
    from reportlab.pdfgen import canvas
    
    from app.answer.prompt import source_label
    from app.db.store import SearchHit
    from app.ingest.chunker import chunk_document
    from app.ingest.loader import load_documents
    from app.ingest.pdf import read_pdf_pages
    
    SAMPLE = Path(__file__).resolve().parent.parent / "sample_docs"
    
    
    def test_read_pdf_pages_keeps_page_numbers():
        pages, empty = read_pdf_pages(SAMPLE / "business-trip.pdf")
        assert [n for n, _ in pages] == [1, 2]
        assert "日当は、1日あたり3,000円" in pages[0][1]
        assert "1泊あたり10,000円" in pages[1][1]
        assert empty == []
    
    
    def test_chunks_carry_their_page_number():
        (document,) = [d for d in load_documents(SAMPLE) if d.source == "business-trip.pdf"]
        chunks = chunk_document(document)
        assert [c.page for c in chunks] == [1, 2]
        assert [c.index for c in chunks] == [0, 1]
        assert all(c.heading == "" for c in chunks)
    
    
    def test_markdown_chunks_have_no_page():
        (document,) = [d for d in load_documents(SAMPLE) if d.source == "vacation.md"]
        assert all(c.page is None for c in chunk_document(document))
    
    
    def test_page_without_text_is_reported_not_silently_dropped(tmp_path: Path):
        # 2ページ目に文字が無いPDF(スキャン画像だけのページを想定)
        path = tmp_path / "scan.pdf"
        pdf = canvas.Canvas(str(path))
        pdf.drawString(72, 760, "Page one text")
        pdf.showPage()
        pdf.showPage()  # 何も描かない
        pdf.save()
    
        (document,) = load_documents(tmp_path)
        assert [n for n, _ in document.pages] == [1]
        assert document.empty_pages == (2,)
        assert [c.page for c in chunk_document(document)] == [1]
    
    
    def test_encrypted_pdf_is_rejected_with_clear_message(tmp_path: Path):
        path = tmp_path / "locked.pdf"
        pdf = canvas.Canvas(str(path), encrypt="secret")
        pdf.drawString(72, 760, "hidden")
        pdf.save()
    
        with pytest.raises(ValueError, match="パスワード付き"):
            read_pdf_pages(path)
    
    
    def test_source_label_shows_page_for_pdf():
        pdf_hit = SearchHit("business-trip.pdf", "", "本文", 0.2, page=2)
        md_hit = SearchHit("vacation.md", "休暇 > 半日", "本文", 0.2)
        assert source_label(pdf_hit) == "business-trip.pdf 2ページ"
        assert source_label(md_hit) == "vacation.md > 休暇 > 半日"

    サンプル文書にPDFが加わったので、既存のテストの期待値を直します。

    tests/test_ingest.py に次の変更を加えます(+ が追加、- が削除)。

    --- a/tests/test_ingest.py
    +++ b/tests/test_ingest.py
    @@ -7,9 +7,10 @@ from app.ingest.models import Document
     SAMPLE = Path(__file__).resolve().parent.parent / "sample_docs"
     
     
    -def test_load_documents_reads_md_and_txt():
    +def test_load_documents_reads_md_txt_and_pdf():
         sources = [d.source for d in load_documents(SAMPLE)]
         assert sources == [
    +        "business-trip.pdf",
             "expense.txt",
             "hr/salary-grade.md",
             "sales/discount-policy.md",
    @@ -46,6 +47,7 @@ def test_text_without_heading_is_one_section():
     def test_department_comes_from_folder_name():
         departments = {d.source: d.department for d in load_documents(SAMPLE)}
         assert departments == {
    +        "business-trip.pdf": "all",
             "expense.txt": "all",
             "hr/salary-grade.md": "hr",
             "sales/discount-policy.md": "sales",

    tests/test_store.py に次の変更を加えます(+ が追加、- が削除)。

    --- a/tests/test_store.py
    +++ b/tests/test_store.py
    @@ -122,3 +122,16 @@ def test_ask_api_hides_other_departments(conn: psycopg.Connection, monkeypatch):
         get_settings.cache_clear()
         assert "hr/salary.md" not in [h["source"] for h in as_staff.json()["hits"]]
         assert as_hr.json()["hits"][0]["source"] == "hr/salary.md"
    +
    +
    +def test_pdf_page_is_saved_and_returned(conn: psycopg.Connection):
    +    save_chunks(
    +        conn,
    +        [
    +            Chunk("trip.pdf", "", 0, "日当は1日あたり3,000円とする。", page=1),
    +            Chunk("trip.pdf", "", 1, "宿泊費は1泊あたり10,000円を上限とする。", page=2),
    +        ],
    +        HashingEmbedder(),
    +    )
    +    hits = search_chunks(conn, HashingEmbedder(), "宿泊費の上限は?", ["all"], limit=1)
    +    assert (hits[0].source, hits[0].page) == ("trip.pdf", 2)
    ruff check .
    TEST_DATABASE_URL=postgresql://rag:rag_local_only@localhost:5432/rag_test pytest

    つまずきやすい点・運用上の注意

    • PDFの文字の並びは、見た目どおりとは限りません。 段組みや表は、文章の順序が入れ替わって取り出されることがあります。重要な規程は、取り込み後に「期待した文章として読めているか」を人が確認してください
    • 文字が取れないPDFは検索に出ません。 取り込みの警告(「Nページは文字を取り出せませんでした」)を運用で見逃さない仕組みが必要です
    • PDFを作り直したら、取り込み直します。 第2回で作ったとおり、同じ文書は入れ替わるため、ページ数が減っても古い断片は残りません
    • ページ番号はPDFの通し番号です。 紙面に印字されたページ数(表紙を数えない等)とは、ずれることがあります
    • 実際のPDFでも確認してください。 今回は日本語フォントを指定して作った小さなPDFで確認しています。フォントの埋め込み方や作成ソフトによっては、文字が正しく取り出せない場合があります

    発注者向けメモ:PDF対応を頼むときの確認点

    「PDFに対応」とひと言で言っても、範囲は大きく異なります。見積もりの前に、次の点を開発会社に確認しておくと、後から「これは対応外でした」となりにくくなります。

    • ☐ 手元のPDFの種類を分けている(文字が選択できるPDFか、スキャンした画像か)
    • ☐ スキャンしたPDFも対象にしたいかを決めている(対象ならOCRが別途必要で、費用も精度の確認も増える)
    • ☐ 表・段組み・図が多い文書で、実際のPDFを使って読み取りを試してもらえる
    • ☐ 回答の出典が、文書名とページ番号まで示される
    • ☐ 文字が読めなかったPDFや、パスワード付きPDFが見つかったとき、誰にどう知らせるかが決まっている
    • ☐ PDFが更新されたとき、検索の内容を入れ替える手順と担当が決まっている

    開発会社に聞く質問例は次のとおりです。

    • 「実際にうちのPDFを3〜5本お渡ししたら、取り込んで、読み取り結果を見せてもらえますか」
    • 「スキャンしたPDFが混ざっていたときは、どのように扱われますか。OCRを使う場合は、費用と精度の見通しを教えてください」
    • 「回答の出典に、ページ番号は出ますか。PDFの通し番号と、紙面のページ数がずれる場合はどうしますか」

    工数やリスクが増えやすい条件

    • スキャン画像のPDFが多い(OCRの導入と、読み取り結果の確認が必要)
    • 表や段組みが多く、文章の順序が崩れやすい
    • PDFの本数が多く、更新の頻度も高い(取り込みの自動化や差分更新が必要)
    • 部署ごとの権限が細かく、PDFの置き場所と権限をそろえる必要がある

    まとめと次回予告

    今回のポイントは次の3つです。

    • PDFはページごとに文字を取り出し、断片にページ番号を持たせると、「文書名 Nページ」の出典が出せる
    • 文字が取れないPDF(スキャン画像)は、警告として残し、黙って見逃さない。読ませるにはOCRが別に必要
    • 出典の表示名を作る関数を1か所にそろえておいたので、回答処理は変えずにPDFに対応できた

    次回は第8回として、回答の品質を自動テストで測る方法を扱います。「文書に無いことは無いと答える」「出典が正しい」といった確認を、評価用の質問集にして繰り返し確かめられるようにする予定です(タイトル案:【第8回】社内ナレッジ検索の回答品質を、自動テストで測り続ける)。

    この連載の記事一覧

    この記事は連載「FastAPIで作る社内ナレッジ検索(RAG)」の1回です。連載のほかの回は次のとおりです(連載の一覧ページ)。

    システム制作・運用・保守のお問い合わせはこちら

      お問い合わせ


      よかったらシェアしてね!
      • URLをコピーしました!
      • URLをコピーしました!

      この記事を書いた人

      株式会社THIRD HERO代表取締役 朝野貴朗
      Webシステム開発を中心に、toC向けサービスサイトの運営、ツール開発などを行ってまいりました。

      コメント

      コメント一覧 (4件)

      目次