Pythonの形態素解析ライブラリ「Janome」の基本の使い方を現役エンジニアが解説【初心者向け】

初心者向けにPythonの形態素解析ライブラリ「Janome」の基本の使い方について現役エンジニアが解説しています。形態素解析とは、自然言語で書かれた文を言語上の最小単位である形態素に分割し、それぞれの品詞や変化などを割り出すことです。Janomeを使って名詞のみを出力してみましょう。

TechAcademyマガジンはオンラインのプログラミングスクールTechAcademy [テックアカデミー]が運営する教育×テクノロジーのWebメディアです。初心者でもすぐ勉強できる記事が2,000以上あります。

Pythonの形態素解析ライブラリ「Janome」の基本の使い方について解説します。

Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をまずご覧ください。

 

なお本記事は、TechAcademyのPythonオンライン講座の内容をもとにしています。

 

田島悠介

今回は、Pythonに関する内容だね!

大石ゆかり

どういう内容でしょうか?

田島悠介

Pythonの形態素解析ライブラリ「Janome」の基本の使い方について詳しく説明していくね!

大石ゆかり

お願いします!

 

形態素解析とは

形態素解析とは、自然言語で書かれた文を言語上の最小単位である形態素に分割し、それぞれの品詞や変化などを割り出すことです。

ITの分野ではコンピュータによる自然言語処理の一つとして、かな漢字変換や全文検索、機械翻訳などで用いられます。
 

形態素解析ライブラリ「janome」

JanomeはPythonで記述された、辞書内包の形態素解析ライブラリです。

依存ライブラリなしで簡単にインストールできるのが特徴です。
 

[PR] Pythonで挫折しない学習方法を動画で公開中

Janomeをインストールする

pipコマンドを用いてインストールします。
 

pip install janome

 
Pythonインタプリタで以下のコードを実行します。

特にエラーがなければ、インストールは成功です。
 

import janome

 

文章を形態素解析する

ソースコード

from janome.tokenizer import Tokenizer

t = Tokenizer()
for token in t.tokenize(u'すもももももももものうち'):
  print(token)

 

実行結果

すもも	名詞,一般,*,*,*,*,すもも,スモモ,スモモ
も	助詞,係助詞,*,*,*,*,も,モ,モ
もも	名詞,一般,*,*,*,*,もも,モモ,モモ
も	助詞,係助詞,*,*,*,*,も,モ,モ
もも	名詞,一般,*,*,*,*,もも,モモ,モモ
の	助詞,連体化,*,*,*,*,の,ノ,ノ
うち	名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ

 

解説

janomeモジュールをインポートし、Tokenizerインスタンスを作成。解析対象文字列を指定し、tokenizeメソッドを呼び出しました。
 

名詞を抽出する

ソースコード

from janome.analyzer import Analyzer
from janome.tokenizer import Tokenizer
from janome.tokenfilter import POSKeepFilter

text = '蛇の目はPure Pythonな形態素解析器です。'
tokenizer = Tokenizer()
token_filters = [POSKeepFilter(['名詞'])]
a = Analyzer([], tokenizer, token_filters)

for token in a.analyze(text):
  print(token)

 

実行結果

蛇の目	名詞,一般,*,*,*,*,蛇の目,ジャノメ,ジャノメ
Pure	名詞,固有名詞,組織,*,*,*,Pure,*,*
Python	名詞,一般,*,*,*,*,Python,*,*
形態素	名詞,一般,*,*,*,*,形態素,ケイタイソ,ケイタイソ
解析	名詞,サ変接続,*,*,*,*,解析,カイセキ,カイセキ
器	名詞,接尾,一般,*,*,*,器,キ,キ

 

解説

先の例と同様にjanomeモジュールをインポートしました。
品詞でフィルタするため、POSKeepFilterを用いました。

Analyzerでは前処理の以下を指定します。今回、前処理のフィルタは省略しました。

  • フィルタ
  • トークン分割器/li>
  • トークンのフィルタ

文字列を解析し、名詞のみを表示しました。
 

監修してくれたメンター

橋本紘希

システムインテグレータ企業勤務のシステムエンジニア。

開発実績: Javaプログラムを用いた業務用Webアプリケーションや、基幹システム用バッチアプリケーションなどの設計構築試験。

 

大石ゆかり

内容分かりやすくて良かったです!

田島悠介

ゆかりちゃんも分からないことがあったら質問してね!

大石ゆかり

分かりました。ありがとうございます!

 

オンラインのプログラミングスクールTechAcademyではPythonを使って機械学習の基礎を学ぶPythonオンライン講座を開催しています。

初心者向けの書籍を使って人工知能(AI)や機械学習について学ぶことができます。

現役エンジニアがパーソナルメンターとして受講生に1人ずつつき、マンツーマンのメンタリングで学習をサポートし、最短4週間で習得することが可能です。

また、現役エンジニアから学べる無料のプログラミング体験会も実施しているので、ぜひ参加してみてください。