Pythonの形態素解析ライブラリ「Janome」の基本の使い方を現役エンジニアが解説【初心者向け】

初心者向けにPythonの形態素解析ライブラリ「Janome」の基本の使い方について現役エンジニアが解説しています。形態素解析とは、自然言語で書かれた文を言語上の最小単位である形態素に分割し、それぞれの品詞や変化などを割り出すことです。Janomeを使って名詞のみを出力してみましょう。

TechAcademyマガジンは受講者数No.1のオンラインプログラミングスクールTechAcademy [テックアカデミー]が運営。初心者向けに解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。

Pythonの形態素解析ライブラリ「Janome」の基本の使い方について解説します。

そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。

 

なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。

 

田島悠介

今回は、Pythonに関する内容だね!

大石ゆかり

どういう内容でしょうか?

田島悠介

Pythonの形態素解析ライブラリ「Janome」の基本の使い方について詳しく説明していくね!

大石ゆかり

お願いします!

 

形態素解析とは

形態素解析とは、自然言語で書かれた文を言語上の最小単位である形態素に分割し、それぞれの品詞や変化などを割り出すことです。

ITの分野ではコンピュータによる自然言語処理の一つとして、かな漢字変換や全文検索、機械翻訳などで用いられます。
 

形態素解析ライブラリ「janome」

JanomeはPythonで記述された、辞書内包の形態素解析ライブラリです。

依存ライブラリなしで簡単にインストールできるのが特徴です。
 

[PR] Pythonで挫折しない学習方法を動画で公開中

Janomeをインストールする

pipコマンドを用いてインストールします。
 

pip install janome

 
Pythonインタプリタで以下のコードを実行します。

特にエラーがなければ、インストールは成功です。
 

import janome

 

文章を形態素解析する

ソースコード

from janome.tokenizer import Tokenizer

t = Tokenizer()
for token in t.tokenize(u'すもももももももものうち'):
  print(token)

 

実行結果

すもも	名詞,一般,*,*,*,*,すもも,スモモ,スモモ
も	助詞,係助詞,*,*,*,*,も,モ,モ
もも	名詞,一般,*,*,*,*,もも,モモ,モモ
も	助詞,係助詞,*,*,*,*,も,モ,モ
もも	名詞,一般,*,*,*,*,もも,モモ,モモ
の	助詞,連体化,*,*,*,*,の,ノ,ノ
うち	名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ

 

解説

janomeモジュールをインポートし、Tokenizerインスタンスを作成。解析対象文字列を指定し、tokenizeメソッドを呼び出しました。
 

名詞を抽出する

ソースコード

from janome.analyzer import Analyzer
from janome.tokenizer import Tokenizer
from janome.tokenfilter import POSKeepFilter

text = '蛇の目はPure Pythonな形態素解析器です。'
tokenizer = Tokenizer()
token_filters = [POSKeepFilter(['名詞'])]
a = Analyzer([], tokenizer, token_filters)

for token in a.analyze(text):
  print(token)

 

実行結果

蛇の目	名詞,一般,*,*,*,*,蛇の目,ジャノメ,ジャノメ
Pure	名詞,固有名詞,組織,*,*,*,Pure,*,*
Python	名詞,一般,*,*,*,*,Python,*,*
形態素	名詞,一般,*,*,*,*,形態素,ケイタイソ,ケイタイソ
解析	名詞,サ変接続,*,*,*,*,解析,カイセキ,カイセキ
器	名詞,接尾,一般,*,*,*,器,キ,キ

 

解説

先の例と同様にjanomeモジュールをインポートしました。
品詞でフィルタするため、POSKeepFilterを用いました。

Analyzerでは前処理の以下を指定します。今回、前処理のフィルタは省略しました。

  • フィルタ
  • トークン分割器/li>
  • トークンのフィルタ

文字列を解析し、名詞のみを表示しました。
 

監修してくれたメンター

橋本紘希

システムインテグレータ企業勤務のシステムエンジニア。

開発実績: Javaプログラムを用いた業務用Webアプリケーションや、基幹システム用バッチアプリケーションなどの設計構築試験。

 

大石ゆかり

内容分かりやすくて良かったです!

田島悠介

ゆかりちゃんも分からないことがあったら質問してね!

大石ゆかり

分かりました。ありがとうございます!

 

TechAcademyでは、初心者でもPythonを使った人工知能(AI)や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。

挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。