テキストマイニング (text mining) は、構造化されていない自然言語テキストから、人手では発見しにくいパターンや傾向を自動的に抽出する技術です。顧客レビューの分析、SNS の世論調査、学術論文の動向把握、コールセンターの問い合わせ分類など、テキストデータが蓄積されるあらゆる分野で活用されています。

テキストマイニングの基本的な処理フローは 4 段階です。第一に前処理として、テキストのクリーニング (HTML タグの除去、記号の正規化、表記ゆれの統一) を行います。第二に形態素解析で、文を単語に分割し品詞を付与します。日本語は英語と異なり単語間にスペースがないため、MeCab や Janome などの形態素解析器が不可欠です。第三に特徴量の抽出で、TF-IDF やワードエンベディングを用いてテキストを数値ベクトルに変換します。第四に分析・可視化で、クラスタリング、分類、トピックモデリングなどの手法を適用します。

頻度分析は最もシンプルなテキストマイニング手法です。テキスト中の単語の出現回数を集計し、頻出語を特定します。ただし、「の」「は」「が」のような助詞 (ストップワード) は頻度が高くても情報量がないため除外します。頻度分析の結果はワードクラウドとして可視化されることが多く、テキスト全体の傾向を直感的に把握できます。

共起分析は、特定の単語が同じ文脈で一緒に出現するパターンを検出します。たとえば、商品レビューで「バッテリー」と「持ち」が高頻度で共起していれば、バッテリー持ちがユーザーの関心事であることが分かります。共起ネットワークを可視化すると、単語間の関連構造が明らかになります。

感情分析 (センチメント分析) は、テキストがポジティブ・ネガティブ・ニュートラルのいずれかを判定します。「この商品は最高です」はポジティブ、「二度と買わない」はネガティブと分類されます。日本語の感情分析は、皮肉や婉曲表現 (「なかなかですね」が褒め言葉か皮肉か) の判定が難しく、英語より精度が出にくい傾向があります。

文字数カウントとの関連では、テキストマイニングの前処理段階で文字数・単語数の統計が基礎データとなります。文書の長さ (文字数) は分類モデルの特徴量として有効であり、スパムメールの検出では「短すぎるメール」や「極端に長いメール」が判別の手がかりになります。また、N-gram 分析では文字単位の N-gram (文字 N-gram) と単語単位の N-gram (単語 N-gram) を使い分け、文字数レベルのパターンから意味レベルのパターンまで多層的に分析します。