Pythonのmultiprocessingの使い方を現役エンジニアが解説【初心者向け】

初心者向けにPythonのmultiprocessingの使い方について解説しています。マルチスレッドは1つのプロセスが複数のスレッドで処理されているイメージ、マルチプロセスは複数のプロセスで1つの処理を行っているイメージを描くとわかりやすいと思います。

TechAcademyマガジンはオンラインのプログラミングスクールTechAcademy [テックアカデミー]が運営する教育×テクノロジーのWebメディアです。初心者でもすぐ勉強できる記事が2,000以上あります。

Pythonのmultiprocessingの使い方について解説します。

Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をまずご覧ください。

 

なお本記事は、TechAcademyのPythonオンライン講座の内容をもとにしています。

 

田島悠介

今回は、Pythonに関する内容だね!

大石ゆかり

どういう内容でしょうか?

田島悠介

multiprocessingの使い方について詳しく説明していくね!

大石ゆかり

お願いします!

 

multiprocessingとは

最近のコンピュータでは複数のコアを搭載したCPU(マルチコア)が一般的です。単一処理(シングルプロセス、シングルスレッド)では1コアだけしか使いきれず、マルチコアの性能を最大限に発揮できません。

マルチコアの性能を引き出すには、マルチプロセス、マルチスレッドなどの並列処理を用いるのが一般的です。

Pythonには並列処理をサポートするモジュールがいくつかありますが、マルチプロセスによる並列処理をサポートするのがmultiprocessingモジュールです。

一方、マルチスレッドによる並列処理をサポートするのがthreadingモジュールです。

 

multiprocessingの使い方(プロセスベースの並列処理を行う方法)

multiprocessing.Processのインスタンスを作成します。このとき、引数で並列化したい処理を指定します。

作成したProcessインスタンスに対し、start関数を呼び出すと、プロセスが生成され処理が開始されます。

join関数を呼び出すと、プロセスの終了を待ち合わせます。詳細は公式のリファレンスを参照してください。

 

import multiprocessing

def func(args):
    # 並列化したい処理

p = multiprocessing.Process(target=func, args=(x, y, z))
p.start() # プロセスの開始
p.join() # プロセスの終了待ち合わせ

 

[PR] Pythonで挫折しない学習方法を動画で公開中

実際に書いてみよう

ここでは並列処理のサンプルでよく使われる、キューを用いた生産者消費者モデルを実装してみました。

サンプルコード

import multiprocessing
import random
import time

# 生産プロセス
def produce(queue):
  for i in range(10):
    queue.put(i)
    time.sleep(random.randint(1, 5))

# 消費プロセス
def consume(queue):
  for i in range(10):
    n = queue.get()
    print(n)
    time.sleep(random.randint(1, 5))

if __name__ == '__main__':
  queue = multiprocessing.Queue()
  
  # プロセス生成
  p0 = multiprocessing.Process(target=produce, args=(queue,))
  p1 = multiprocessing.Process(target=produce, args=(queue,))
  c0 = multiprocessing.Process(target=consume, args=(queue,))
  c1 = multiprocessing.Process(target=consume, args=(queue,))
  
  # プロセス開始
  p0.start()
  p1.start()
  c0.start()
  c1.start()
  
  # プロセス終了待ち合わせ
  p0.join()
  p1.join()
  c0.join()
  c1.join()

 

実行結果

0
0
1
1
2
2
3
3
5
4
4
6
5
7
8
6
7
9
8
9

 

解説

produceが生産者を表す関数です。整数をキューに入れます。consumeが消費者を表す関数です。キューから値を取り出して表示します。生産者プロセスを2つ、消費者プロセスを2つ用意しました。

startでプロセス4つを順番に開始しました。この段階で、生産者、消費者プロセスが動作を開始するので、消費者プロセスによりコンソールに値が表示されていきます。

乱数時間のスリープがあるので、順番の入れ換わることがあります。最後にjoinでプロセスの終了を待ち合わせました。

監修してくれたメンター

橋本紘希

システムインテグレータ企業勤務のシステムエンジニア。

開発実績: Javaプログラムを用いた業務用Webアプリケーションや、基幹システム用バッチアプリケーションなどの設計構築試験。

 

大石ゆかり

内容分かりやすくて良かったです!

田島悠介

ゆかりちゃんも分からないことがあったら質問してね!

大石ゆかり

分かりました。ありがとうございます!

オンラインのプログラミングスクールTechAcademyではPythonを使って機械学習の基礎を学ぶPythonオンライン講座を開催しています。

初心者向けの書籍を使って人工知能(AI)や機械学習について学ぶことができます。

現役エンジニアがパーソナルメンターとして受講生に1人ずつつき、マンツーマンのメンタリングで学習をサポートし、最短4週間で習得することが可能です。

また、現役エンジニアから学べる無料のプログラミング体験会も実施しているので、ぜひ参加してみてください。