Pythonでファイルの文字コードを判定する方法【初心者向け】
初心者向けにPythonでファイルの文字コードを判定する方法について解説しています。最初に文字コードの種類について学び、次に文字コードを指定する方法を実際にコードを書きながら覚えていきましょう。
TechAcademyマガジンはオンラインのプログラミングスクールTechAcademy [テックアカデミー]が運営する教育×テクノロジーのWebメディアです。初心者でもすぐ勉強できる記事が2,000以上あります。
Pythonでファイルの文字コードを判定する方法について解説します。
Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をまずご覧ください。
なお本記事は、TechAcademyのPythonオンライン講座の内容をもとにしています。
今回は、Pythonに関する内容だね！
どういう内容でしょうか？
ファイルの文字コードを判定する方法について詳しく説明していくね！
お願いします！
文字コードとは
文字コードとは、文字を表す番号のことです。コンピューターは数字しか処理できません。よってコンピューターは、それぞれの文字の形（イメージ）に対応付けられた番号の一覧表で文字を管理しています。それが文字コードです。
文字コードはいくつか種類があり、それにより見た目が同じでも番号が異なります。
ASCII
もっとも基礎的な文字コードです。半角英数字128文字から構成されており、全ての文字を1バイトで表します。例えば「A」はASCIIでは0x41(0xは16進数を表す)となります。
Shift_JIS
日本語を表すために多く用いられていた文字コードです。全ての文字を2バイトで表します。亜種がWindowsで採用されていたことで広く使われていました。例えば「あ」はShift_JISでは0x82E0となります。
UTF-8
現在最も広く使われている標準的な文字コードです。全ての文字を1〜4バイトで表します。世界中の文字を扱えるため、標準的に使われるようになりました。例えば「あ」はUTF-8では0xe38182となります。
ファイルの文字コードを判定する書き方
Pythonでは、テキストファイルを読み込む際、書き込む際に文字コードを指定できます。
open("ファイル名", "rまたはw", encoding="文字コード")
encodingの「文字コード」には以下のような値を指定できます。
| utf_8 | UTF-8 |
| shift_jis | Shift_JIS |
| ascii | ASCII |
| euc_jp | 日本語EUC |
| iso2022_jp | JIS |
openは、Python の組み込み関数です。ファイルを開き、読み込み／書き込みを行えるようにします。encoding以外にも、いろいろなオプションがあります。詳細は公式ドキュメントを参考にしてください。
https://docs.python.jp/3/library/functions.html#open
実際に書いてみよう
今回のサンプルプログラムでは、UTF-8でファイルの書き込み、読み込みを行っています。はじめに書き込みです。
file = "charcode.txt"
fileobj = open(file, "w", encoding = "utf_8")
fileobj.write("このファイルは\n")
fileobj.write("UTF-8の\n")
fileobj.write("文字コードです\n")
fileobj.close()
プログラムと同じフォルダに「charcode.txt」というファイルが作成されます。次に読み込みです。
fileobj = open(file, "r", encoding = "utf_8") data = fileobj.read() fileobj.close() print(data)
実行結果は以下のようになります。
このファイルは UTF-8の 文字コードです
それでは、読み込みの文字コードを変更するとどうなるでしょうか？
fileobj = open(file, "r", encoding = "shift_jis") data = fileobj.read() fileobj.close() print(data)
実行してみるとエラーになります。
UnicodeDecodeError: 'shift_jis' codec can't decode byte 0x81 in position 4: illegal multibyte sequence
このように、テキストファイルを扱う場合、文字コードを考慮する必要があります。なお、文字コードを自動判定する chardet というライブラリも存在します。文字コードが不明のファイルを扱う場合は利用を検討してみると良いでしょう。
https://pypi.org/project/chardet/
| この記事を監修してくれた方
太田和樹（おおたかずき） 普段は主に、Web系アプリケーション開発のプロジェクトマネージャーとプログラミング講師を行っている。守備範囲はフロントエンド、モバイル、サーバサイド、データサイエンティストと幅広い。その幅広い知見を生かして、複数の領域を組み合わせた新しい提案をするのが得意。 開発実績：画像認識技術を活用した駐車場混雑状況把握（実証実験）、音声認識を活用したヘルプデスク支援システム、Pepperを遠隔操作するアプリの開発、大規模基幹系システムの開発・導入マネジメント 地方在住。仕事のほとんどをリモートオフィスで行う。通勤で消耗する代わりに趣味のDIYや家庭菜園、家族との時間を楽しんでいる。 |
内容分かりやすくて良かったです！
ゆかりちゃんも分からないことがあったら質問してね！
分かりました。ありがとうございます！
オンラインのプログラミングスクールTechAcademyではPythonを使って機械学習の基礎を学ぶPythonオンライン講座を開催しています。
初心者向けの書籍を使って人工知能（AI）や機械学習について学ぶことができます。
現役エンジニアがパーソナルメンターとして受講生に1人ずつつき、マンツーマンのメンタリングで学習をサポートし、最短4週間で習得することが可能です。
また、現役エンジニアから学べる無料のプログラミング体験会も実施しているので、ぜひ参加してみてください。
