Pythonのmultiprocessingの使い方を現役エンジニアが解説【初心者向け】

Pythonのmultiprocessingの使い方について解説します。

そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。

 

なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。

 

 

multiprocessingとは

最近のコンピュータでは複数のコアを搭載したCPU(マルチコア)が一般的です。単一処理(シングルプロセス、シングルスレッド)では1コアだけしか使いきれず、マルチコアの性能を最大限に発揮できません。

マルチコアの性能を引き出すには、マルチプロセス、マルチスレッドなどの並列処理を用いるのが一般的です。

Pythonには並列処理をサポートするモジュールがいくつかありますが、マルチプロセスによる並列処理をサポートするのがmultiprocessingモジュールです。

一方、マルチスレッドによる並列処理をサポートするのがthreadingモジュールです。

 

multiprocessingの使い方（プロセスベースの並列処理を行う方法）

multiprocessing.Processのインスタンスを作成します。このとき、引数で並列化したい処理を指定します。

作成したProcessインスタンスに対し、start関数を呼び出すと、プロセスが生成され処理が開始されます。

join関数を呼び出すと、プロセスの終了を待ち合わせます。詳細は公式のリファレンスを参照してください。

 

import multiprocessing

def func(args):
    # 並列化したい処理

p = multiprocessing.Process(target=func, args=(x, y, z))
p.start() # プロセスの開始
p.join() # プロセスの終了待ち合わせ

 

[PR] Pythonで挫折しない学習方法を動画で公開中

実際に書いてみよう

ここでは並列処理のサンプルでよく使われる、キューを用いた生産者消費者モデルを実装してみました。

サンプルコード

import multiprocessing
import random
import time

# 生産プロセス
def produce(queue):
  for i in range(10):
    queue.put(i)
    time.sleep(random.randint(1, 5))

# 消費プロセス
def consume(queue):
  for i in range(10):
    n = queue.get()
    print(n)
    time.sleep(random.randint(1, 5))

if __name__ == '__main__':
  queue = multiprocessing.Queue()
  
  # プロセス生成
  p0 = multiprocessing.Process(target=produce, args=(queue,))
  p1 = multiprocessing.Process(target=produce, args=(queue,))
  c0 = multiprocessing.Process(target=consume, args=(queue,))
  c1 = multiprocessing.Process(target=consume, args=(queue,))
  
  # プロセス開始
  p0.start()
  p1.start()
  c0.start()
  c1.start()
  
  # プロセス終了待ち合わせ
  p0.join()
  p1.join()
  c0.join()
  c1.join()

 

実行結果

0
0
1
1
2
2
3
3
5
4
4
6
5
7
8
6
7
9
8
9

 

解説

produceが生産者を表す関数です。整数をキューに入れます。consumeが消費者を表す関数です。キューから値を取り出して表示します。生産者プロセスを2つ、消費者プロセスを2つ用意しました。

startでプロセス4つを順番に開始しました。この段階で、生産者、消費者プロセスが動作を開始するので、消費者プロセスによりコンソールに値が表示されていきます。

乱数時間のスリープがあるので、順番の入れ換わることがあります。最後にjoinでプロセスの終了を待ち合わせました。

監修してくれたメンター

橋本紘希 システムインテグレータ企業勤務のシステムエンジニア。 開発実績: Javaプログラムを用いた業務用Webアプリケーションや、基幹システム用バッチアプリケーションなどの設計構築試験。

 

 

TechAcademyでは、初心者でもPythonを使った人工知能（AI）や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。

挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。