Pythonでファイルの文字コードを判定する方法【初心者向け】

Pythonでファイルの文字コードを判定する方法について解説します。

そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。

 

なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。

 

 

文字コードとは

文字コードとは、文字を表す番号のことです。コンピューターは数字しか処理できません。よってコンピューターは、それぞれの文字の形（イメージ）に対応付けられた番号の一覧表で文字を管理しています。それが文字コードです。

文字コードはいくつか種類があり、それにより見た目が同じでも番号が異なります。

ASCII

もっとも基礎的な文字コードです。半角英数字128文字から構成されており、全ての文字を1バイトで表します。例えば「A」はASCIIでは0x41(0xは16進数を表す)となります。

Shift_JIS

日本語を表すために多く用いられていた文字コードです。全ての文字を2バイトで表します。亜種がWindowsで採用されていたことで広く使われていました。例えば「あ」はShift_JISでは0x82E0となります。

UTF-8

現在最も広く使われている標準的な文字コードです。全ての文字を1〜4バイトで表します。世界中の文字を扱えるため、標準的に使われるようになりました。例えば「あ」はUTF-8では0xe38182となります。

 

ファイルの文字コードを判定する書き方

Pythonでは、テキストファイルを読み込む際、書き込む際に文字コードを指定できます。

open("ファイル名", "rまたはw", encoding="文字コード")

encodingの「文字コード」には以下のような値を指定できます。

utf_8	UTF-8
shift_jis	Shift_JIS
ascii	ASCII
euc_jp	日本語EUC
iso2022_jp	JIS

openは、Python の組み込み関数です。ファイルを開き、読み込み／書き込みを行えるようにします。encoding以外にも、いろいろなオプションがあります。詳細は公式ドキュメントを参考にしてください。

https://docs.python.jp/3/library/functions.html#open

 

[PR] Pythonで挫折しない学習方法を動画で公開中

実際に書いてみよう

今回のサンプルプログラムでは、UTF-8でファイルの書き込み、読み込みを行っています。はじめに書き込みです。

file = "charcode.txt"
fileobj = open(file, "w", encoding = "utf_8")
fileobj.write("このファイルは\n")
fileobj.write("UTF-8の\n")
fileobj.write("文字コードです\n")
fileobj.close()

プログラムと同じフォルダに「charcode.txt」というファイルが作成されます。次に読み込みです。

fileobj = open(file, "r", encoding = "utf_8")
data = fileobj.read()
fileobj.close()
print(data)

実行結果は以下のようになります。

このファイルは
UTF-8の
文字コードです

それでは、読み込みの文字コードを変更するとどうなるでしょうか？

fileobj = open(file, "r", encoding = "shift_jis")
data = fileobj.read()
fileobj.close()
print(data)

実行してみるとエラーになります。

UnicodeDecodeError: 'shift_jis' codec can't decode byte 0x81 in position 4: illegal multibyte sequence

このように、テキストファイルを扱う場合、文字コードを考慮する必要があります。なお、文字コードを自動判定する chardet というライブラリも存在します。文字コードが不明のファイルを扱う場合は利用を検討してみると良いでしょう。

https://pypi.org/project/chardet/

 

この記事を監修してくれた方 太田和樹（おおたかずき） ITベンチャー企業のPM兼エンジニア 普段は主に、Web系アプリケーション開発のプロジェクトマネージャーとプログラミング講師を行っている。守備範囲はフロントエンド、モバイル、サーバサイド、データサイエンティストと幅広い。その幅広い知見を生かして、複数の領域を組み合わせた新しい提案をするのが得意。 開発実績：画像認識技術を活用した駐車場混雑状況把握（実証実験）、音声認識を活用したヘルプデスク支援システム、Pepperを遠隔操作するアプリの開発、大規模基幹系システムの開発・導入マネジメント 地方在住。仕事のほとんどをリモートオフィスで行う。通勤で消耗する代わりに趣味のDIYや家庭菜園、家族との時間を楽しんでいる。

 

 

TechAcademyでは、初心者でもPythonを使った人工知能（AI）や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。

挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。