PythonのMemoryErrorの主な原因について現役エンジニアが解説【初心者向け】

初心者向けにPythonのMemoryErrorの主な原因について現役エンジニアが解説しています。MemoryErrorとはプログラムを実行中にメモリーが不足することにより発生するエラーのことです。膨大なデータや画像処理、並列処理時に起こりやすいErrorです。MemoryErrorの原因と対策方法を解説します。

TechAcademyマガジンは受講者数No.1のオンラインプログラミングスクールTechAcademy [テックアカデミー]が運営。初心者向けに解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。

PythonのMemoryErrorの主な原因について、TechAcademyのメンター(現役エンジニア)が実際のコードを使用して初心者向けに解説します。

そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。

 

なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。

 

田島悠介

今回は、Pythonに関する内容だね!

大石ゆかり

どういう内容でしょうか?

田島悠介

PythonのMemoryErrorの主な原因について詳しく説明していくね!

大石ゆかり

お願いします!

 

目次

 

MemoryErrorとは

MemoryErrorはプログラムを実行中に発生するメモリー不足により発生するエラーのことです。Pythonに限らず、プログラムを実行するということはパソコン上で処理を行うため、メモリーを消費します。

特に定義した変数やオブジェクトはメモリー内に保持されるため、その保持したデータ量がメモリーの許容量を超えるとMemory Errorが発生します。

つまり、ソースコードそのものの文法としては間違っておらず実行中に発生するエラーのため、限られたメモリー内で処理を行えるように対策を行う必要があります。

[PR] Pythonで挫折しない学習方法を動画で公開中

MemoryErrorの主な原因

MemoryErrorの一番大きな原因は膨大なデータを取り扱っていることです。機械学習やデータサイエンスの分野で大活躍するPythonですが、大量のデータをあまりにたくさんに扱うとパソコンのメモリーを圧迫してMemoryErrorとなります。

代表的な例が画像処理です。画像データは大量の行列データを扱うことと同じなので、大量の画像データを処理し続けるとパソコンによってはMemoryErrorが発生します。

もう一つ発生するエラーとしては、並列処理を行うときです。短時間で効率よく処理を行うためにスレッドを使って並列処理を行います。しかし、その一方で多くのメモリーを消費することになります。つまり、膨大な処理を並列させるとその分計算量が多くなり、MemoryErrorになる可能性が高くなります。

MemoryErrorへの対策

MemoryErrorが起こるようなプログラムを実行するためには、その対策を行うようにする必要があります。そこでここではいくつかのエラー対策法を紹介します。

メモリーを増やす

MemoryErrorはパソコンのメモリーが不足しているエラーなので、新たに容量の大きいメモリーを買い足すのが一番簡単な解決策です。ただし、この方法はメモリーを取り外しできるパソコンならできますが、分解ができないパソコンでやるのは難しいです。

また、知識のある人であれば問題ないのですが、機械の分解に慣れていない方がやろうとすると、失敗してパソコンが起動しなくなることもあります。メモリーの交換はしっかりやり方を調べながら慎重に行いましょう。

不要な変数、オブジェクトを消す

処理の中で途中から使われていない変数や、オブジェクトを積極的に廃棄するのも効果的です。そこで使われる文がdel文です。del文で変数、オブジェクト名を指定すると、それまでの定義がなかったことになるため、メモリーの空きを減らすことができます。

具体的にはxに100を定義した場合、以下の様に書くことで、del文でその定義を無かったことにできます。

x = 100
del x

 

データを圧縮する

これは特に画像データをメモリー上で扱う際に有効です。大抵の画像処理ではある程度オリジナル画像から縮小しても問題ないことが多いです。

機械学習の練習として使われるMNIST(手書き数字の画像データセット)の画像もメモリーの使用量を少なくするために画像が極限まで縮小されています。

画像を縮小するときに使われるのが、PillowライブラリのImage.resizeです。これを使うことで簡単に画像を縮小してメモリーの使用量を減らすことができます。

まとめ

今回はPythonのMemoryErrorについて紹介しました。

Pythonは配列の処理を簡単に行うことが出来ますが、メモリーのことは考慮されないので、メモリーの使用量については人間の手で調整をしていく必要があります。Pythonはシンプルな文法の言語ですが、システム内で効率よく処理を行うためには工夫や経験が重要になってきます。

監修してくれたメンター

メンター三浦

モバイルゲームを運用している会社のエンジニアをしています。趣味でWEB開発やクラウドコンピューティングもやっており、ソフトもハードもなんでもやります。

TechAcademyジュニアではPythonロボティクスコースを担当しています。好きな言語はPython, Node.js。

 

大石ゆかり

内容分かりやすくて良かったです!

田島悠介

ゆかりちゃんも分からないことがあったら質問してね!

大石ゆかり

分かりました。ありがとうございます!

 

TechAcademyでは、初心者でもPythonを使った人工知能(AI)や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。

挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。