PythonのJoblibで並列処理を行う方法【初心者向け】

初心者向けにPythonのJoblibで並列処理を行う方法について解説しています。並列処理の仕組みと利点・注意点、Joblibを使った並列処理の方法について解説します。サンプルコードを見ながら実際の処理を見てみましょう。

TechAcademyマガジンはオンラインのプログラミングスクールTechAcademy [テックアカデミー]が運営する教育×テクノロジーのWebメディアです。初心者でもすぐ勉強できる記事が2,000以上あります。

PythonのJoblibで並列処理を行う方法について解説します。

Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をまずご覧ください。

 

なお本記事は、TechAcademyのPythonオンライン講座の内容をもとにしています。

 

田島悠介

今回は、Pythonに関する内容だね!

大石ゆかり

どういう内容でしょうか?

田島悠介

Joblibで並列処理を行う方法について詳しく説明していくね!

大石ゆかり

お願いします!

 

並列処理とは

並列処理とは、プログラムの処理速度を向上させる方法の1つです。通常プログラムは書いた順番に1行ずつ実行されます。これを逐次処理といいます。一方、現代のコンピューターはマルチコアと言って、複数の処理を同時に実行できるCPUが多く実装されています。

そこで多数の情報に対して同じ処理を実行するような場合、CPUの各コアに対して処理を分散して実行させることで、処理速度を向上させることができます。これを並列処理といいます。なお、並列処理を行う場合、以下の点に注意する必要があります。

 

依存関係のある処理の分散

例えば、ある処理Aの結果をもとに別の処理Bを実行する場合、処理Aと処理Bを並列処理してしまうと、正しい実行結果は得られません。依存関係がある処理を並行させていないか、確認するようにしましょう。

 

同じリソースを使用する場合の制御

例えば、並列処理で同じファイルに対して書き込みを行う場合、1つの処理が書き込みしている間、他の処理は書き込みを待っている必要があります。排他制御とも呼ばれます。同じリソースを使用する場合、排他制御が正しく行われているか、確認するようにしましょう。

 

Joblibで並列処理を行う方法

Python で 並列処理を行う際多く用いられるモジュールが Joblib です。まずは必要なライブラリをインストールしましょう。パソコンが Macならターミナル、Windowsならコマンドプロンプトから以下のコマンドでインストールします。なお、事前に Python のインストールが必要です。

pip install joblib

並列処理を行う場合、以下のように記述します。

# 必要なライブラリのインポート
from joblib import Parallel, delayed

# 並列処理の記述
結果 = Parallel(n_jobs=-1)([delayed(処理名)(引数) 繰り返し構文など )

n_jobsに-1を指定すると、そのコンピューターのコア数に合わせて処理を分割します。1を指定すると逐次処理と同じになります。その他のオプションなど、詳細は公式ドキュメントを参考にしてください。

https://pypi.org/project/joblib/

 

[PR] Pythonで挫折しない学習方法を動画で公開中

実際に書いてみよう

今回のサンプルプログラムでは、逐次処理と Joblib を使用した並列処理の処理速度を比較し、並列処理の処理速度が向上していることを確認します。はじめに逐次処理のプログラムです。

from time import time

def proc(n):
    return sum([m * n for m in range(10000)])

# 処理時間計測開始
start = time()

# 時間がかかる処理
total = 0
for i in range(10000):
    total += proc(i)

# 処理結果を表示
print(total)
print('逐次処理', (time() - start), "秒")

実行結果は以下のようになります。秒数はプログラムを実行するコンピューターによって異なります。

2499500025000000
逐次処理 7.490278244018555 秒

 

次に並列処理のプログラムです。

from joblib import Parallel, delayed
from time import time

def proc(n):
    return sum([m * n for m in range(10000)])

# 処理時間計測開始
start = time()

# 時間がかかる処理(並列処理)
sub = Parallel(n_jobs=-1)( [delayed(proc)(i) for i in range(10000)] )
total = sum(sub)

# 処理時間を表示
print(total)
print('並列処理', (time() - start), "秒")

実行結果は以下のようになります。逐次処理と処理結果が一致していることが確認できます。今回の場合、約半分の時間で処理を終えることができました。

2499500025000000
並列処理 4.38409423828125 秒

 

この記事を監修してくれた方

太田和樹(おおたかずき)
ITベンチャー企業のPM兼エンジニア

普段は主に、Web系アプリケーション開発のプロジェクトマネージャーとプログラミング講師を行っている。守備範囲はフロントエンド、モバイル、サーバサイド、データサイエンティストと幅広い。その幅広い知見を生かして、複数の領域を組み合わせた新しい提案をするのが得意。

開発実績:画像認識技術を活用した駐車場混雑状況把握(実証実験)、音声認識を活用したヘルプデスク支援システム、Pepperを遠隔操作するアプリの開発、大規模基幹系システムの開発・導入マネジメント

地方在住。仕事のほとんどをリモートオフィスで行う。通勤で消耗する代わりに趣味のDIYや家庭菜園、家族との時間を楽しんでいる。

 

大石ゆかり

内容分かりやすくて良かったです!

田島悠介

ゆかりちゃんも分からないことがあったら質問してね!

大石ゆかり

分かりました。ありがとうございます!

オンラインのプログラミングスクールTechAcademyではPythonを使って機械学習の基礎を学ぶPythonオンライン講座を開催しています。

初心者向けの書籍を使って人工知能(AI)や機械学習について学ぶことができます。

現役エンジニアがパーソナルメンターとして受講生に1人ずつつき、マンツーマンのメンタリングで学習をサポートし、最短4週間で習得することが可能です。

また、現役エンジニアから学べる無料のプログラミング体験会も実施しているので、ぜひ参加してみてください。