固有表現抽出 (NER: Named Entity Recognition) は、テキストから人名、地名、組織名、日付、金額などの固有表現を自動的に識別し、あらかじめ定義されたカテゴリに分類する自然言語処理技術です。たとえば「田中太郎は 2024 年に東京の ABC 株式会社に入社した」という文から、「田中太郎」を人名、「2024 年」を日付、「東京」を地名、「ABC 株式会社」を組織名として抽出します。情報抽出の最も基本的なタスクの一つであり、テキストマイニングの出発点として位置づけられています。

NER の技術は大きく 3 つの世代に分けられます。初期はルールベースの手法で、正規表現や辞書を用いてパターンマッチングを行っていました。次に CRF (条件付き確率場) や HMM (隠れマルコフモデル) などの統計的手法が主流となり、現在は BERT や GPT などの事前学習済み言語モデルをファインチューニングする深層学習ベースの手法が最高精度を達成しています。自然言語処理実践の書籍で各手法の実装方法を学べます。

NER は多くの NLP アプリケーションの基盤技術です。質問応答システムでは質問文中の固有表現を手がかりに回答を検索し、知識グラフの構築ではエンティティ間の関係を抽出する前段階として NER が不可欠です。ニュース記事の自動分類、医療文書からの薬品名・疾患名の抽出、金融レポートからの企業名・数値の抽出など、業界を問わず幅広く活用されています。spaCy、Stanford NER、Hugging Face の Transformers ライブラリなどが代表的なツールです。

日本語の NER には特有の課題があります。日本語はスペースで単語が区切られないため、まず形態素解析で単語分割を行う必要があり、その精度が NER の結果に直接影響します。人名と一般名詞の区別 (「松」が人名か植物名か)、新語や略語への対応、敬称の処理なども難しい問題です。日本語向けの NER モデルとしては、GiNZA や cl-tohoku/bert-base-japanese を用いたモデルが広く使われています。

よくある誤解として、NER は完璧に動作するという期待がありますが、実際にはドメインによって精度が大きく変わります。ニュース記事のような整った文章では高精度を達成しやすい一方、SNS の投稿やチャットのようなくだけた文章では精度が低下しがちです。また、学習データに含まれない新しい固有表現 (新設企業名、新人名など) への対応も課題であり、定期的なモデルの再学習が必要になります。

文字数カウントの観点では、NER で抽出された固有表現の文字数分布を分析することで、テキストの情報密度や構成を把握できます。固有表現が多いテキストは具体的な情報が豊富であることを示し、逆に固有表現が少ないテキストは抽象的な内容が中心であることを示唆します。文字数カウントツールと NER を組み合わせることで、テキストの質的な分析が可能になります。NLP と機械学習の書籍も参考になります。