Pythonで文字コードを判定・確認する方法を現役エンジニアが解説【初心者向け】

初心者向けにPythonで文字コードを判定・確認する方法について現役エンジニアが解説しています。Pythonでは文字のエンコードを自動検出するためchardetモジュールを使用します。今回のサンプルではファイルや引数に指定したバイト文字列の文字列エンコーディングを検出しています。

TechAcademyマガジンはオンラインのプログラミングスクールTechAcademy [テックアカデミー]が運営する教育×テクノロジーのWebメディアです。初心者でもすぐ勉強できる記事が2,000以上あります。

Pythonで文字コードを判定・確認する方法について解説します。

Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をまずご覧ください。

 

なお本記事は、TechAcademyのPythonオンライン講座の内容をもとにしています。

 

田島悠介

今回は、Pythonに関する内容だね!

大石ゆかり

どういう内容でしょうか?

田島悠介

Pythonで文字コードを判定・確認する方法について詳しく説明していくね!

大石ゆかり

お願いします!

 

chardetとは

chardetとは、文字のエンコードを自動検出するためのPythonモジュールです。

日本語の他、中国語、ハングルなどにも対応しています。
 

pipでchardetをインストールする

以下のコマンドでchardetモジュールをインストールします。
 

pip install chardet

 
Pythonインタプリタで以下のコードを入力します。特にエラーが発生しなければインストールは成功です。
 

import chardet

 

[PR] Pythonで挫折しない学習方法を動画で公開中

ファイルの文字コードを確認する

方法1: 付属のchardetectコマンドを用いる

chardetモジュールをインストールすると、chardetectコマンドを利用できるようになります。

以下の通り、引数に指定したファイルのエンコードを判定できます。
以下の例ではASCIIエンコードと判定しました。
 

$ chardetect sample_data/README.md
sample_data/README.md: ascii with confidence 1.0

 

方法2: Pythonプログラムからchardetモジュールを利用する

chardet.detectメソッドを使うと、引数に指定したバイト文字列のエンコードを判定できます。

以下の例ではWebサイトのコンテンツを取得し、エンコードを判定しました。

判定結果はUTF-8でした。
 

ソースコード

import chardet
import urllib.request

rawdata = urllib.request.urlopen('https://www.yahoo.co.jp/').read()
chardet.detect(rawdata)

 

実行結果

{'confidence': 0.99, 'encoding': 'utf-8', 'language': ''}

 

監修してくれたメンター

橋本紘希

システムインテグレータ企業勤務のシステムエンジニア。

開発実績: Javaプログラムを用いた業務用Webアプリケーションや、基幹システム用バッチアプリケーションなどの設計構築試験。

 

大石ゆかり

内容分かりやすくて良かったです!

田島悠介

ゆかりちゃんも分からないことがあったら質問してね!

大石ゆかり

分かりました。ありがとうございます!

 

オンラインのプログラミングスクールTechAcademyではPythonを使って機械学習の基礎を学ぶPythonオンライン講座を開催しています。

初心者向けの書籍を使って人工知能(AI)や機械学習について学ぶことができます。

現役エンジニアがパーソナルメンターとして受講生に1人ずつつき、マンツーマンのメンタリングで学習をサポートし、最短4週間で習得することが可能です。

また、現役エンジニアから学べる無料のプログラミング体験会も実施しているので、ぜひ参加してみてください。