Pythonにおける音声認識juliusの利用方法を現役エンジニアが解説【初心者向け】

Pythonにおける音声認識juliusの利用方法について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して、初心者向けに解説します。これができるようになると、波形の特徴から話した人を特定したり、人が話したことを文字に起こしたりと、声から様々な情報を取ることができるようになります。ぜひ参考にしてみてください。

Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。

 

なお本記事は、TechAcademyのオンラインブートキャンプ、Python講座の内容をもとに紹介しています。

 

 

音声認識とは？

音声認識とは人の声などをコンピュータに認識させる技術のことです、これにより、波形の特徴から話した人を特定したり、人が話したことを文字に起こしたりすることが出来ます。

juliusとは？

juliusとは、京都大学や名古屋工業大学の研究室が開発しているオープンソースの音声認識ライブラリです。

ソースはC言語で書かれており様々なプラットフォームへの移植や改造が容易です。また独自の辞書モデルを定義することが可能であるため、特定の目的に合わせた音声認識エンジンを開発することも可能です。

[PR] Pythonで挫折しない学習方法を動画で公開中

juliusのインストール

juliusは単体では動作せず、言語認識をするためのモデルを読み込んで動かす必要があります。

juliusの公式サイトには、そのような言語認識モデルと実行環境がセットになったパッケージがいくつかあります。今回はその中からディクテーションキットダウンロードします。

こちらから最新版のパッケージをインストールします。

なお、今回はWindowsで実行する方法を紹介します。ZIPファイルをダウンロードしたら解凍して任意の場所にバイナリを保存します。

juliusの使い方

juliusはコマンドラインで使用します。

julius単体では動作せず、以下のモデルが必要です。ただし、本記事で紹介したディクテーションキットではすべて用意されています。

• 音響モデル（音素HMM）：音素ごとの音声波形パターンのモデル
• 単語辞書：各単語の読みを定義する
• 言語モデル（単語N-gram）：どのような単語列が出しやすいか，その単語間の接続制約を決定する

ローカルの環境で動かすので、精度には限界があります。実際にアプリケーションに実装する場合は、用途に合わせた単語辞書を使用したほうがいいでしょう。

juliusを利用して音声認識してみよう

それでは、実際に音声認識を試していきます。

ディクテーションで音声認識を試す場合は、先程インストールしたディクテーションキットのフォルダにコマンドプロンプトで移動した状態で行うものとします。

下記のコマンドはDNN、つまり深層ニューラルネットを使用した音声認識を行う際のコマンドです。

cd dictationkitdir
.binwindowsjulius.exe -C main.jconf -C am-dnn.jconf -demo -charconv utf-8 sjis -dnnconf julius.dnnconf

こちらを実行すると、パソコンのマイクに話しかけて以下のように文字を起こします。短い文章ならしっかり認識します。

 

Pythonで使う場合

今度はjuliusで認識した結果をPythonで取得してみます。

ところが、先程のコマンドを実行した際、結果がその場で表示されますがプログラムで処理するには難しいです。そこでjuliusでサーバークライアントを立ち上げて、Pythonでソケットを使ってサーバの出力を取得するプログラムを作成していきます。

デモを実行している場合は、Ctrl + Cでプログラムを止めてコマンドプロンプトでディクテーションキットのフォルダー上に移動して以下のコマンドを実行します。

先程のコマンドの中の【-demo】を【-module】に置き換えただけです。

.binwindowsjulius.exe -C main.jconf -C am-dnn.jconf -module -charconv utf-8 sjis -dnnconf julius.dnnconf

実行後、以下のようにサーバーが立ち上がりポート番号を表示されます。

次にPythonのsocketモジュールを使ってクライアントを作成します。以下のコードを任意のフォルダに保存します。

import socket
host = '127.0.0.1'   # IPアドレス
port = 10500         # Juliusとの通信用ポート番号
# Juliusにソケット通信で接続
client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
client.connect((host, port))
data = ""
try:
    data = ""
    while True:
        if '</RECOGOUT>n.' in data:
            # 出力結果から認識した単語を取り出す
            recog_text = ""
            for line in data.split('n'):
                index = line.find('WORD="')
                if index != -1:
                    line = line[index+6:line.find('"', index+6)]
                    recog_text = recog_text + line
            print("認識結果: " + recog_text)
            data =""
        else:
            data += str(client.recv(1024).decode('utf-8'))
            print('NotFound')
except KeyboardInterrupt:
    print('finished')
    client.send("DIE".encode('utf-8'))
    client.close()

コードを実行し、xml形式で以下のように認識結果が出力されたら成功です。

 

まとめ

今回はjuliusを使って日本語の音声認識を行ってきました。

クラウドのAPIとは違い精度は高くはないですが、使用用途に合わせて使えば音声認識を使ったアプリケーションを作ることもできます。

 

監修してくれたメンター

メンター三浦 モバイルゲームを運用している会社のエンジニアをしています。趣味でWEB開発やクラウドコンピューティングもやっており、ソフトもハードもなんでもやります。 TechAcademyジュニアではPythonロボティクスコースを担当しています。好きな言語はPython, Node.js

 

 

TechAcademyでは、初心者でも、Pythonを使った人工知能（AI）や機械学習の基礎を習得できる、オンラインブートキャンプを開催しています。

また、現役エンジニアから学べる無料体験も実施しているので、ぜひ参加してみてください。
–