Pythonのurllibモジュールの使い方を現役エンジニアが解説【初心者向け】

初心者向けにPythonのurllibモジュールの使い方について解説しています。URLを開いて内容を取得したりするモジュールになっています。サンプルでは指定のアドレスにアクセスして内容を取得しています。スクレイピングなどに応用することが出来ます。

TechAcademyマガジンはオンラインのプログラミングスクールTechAcademy [テックアカデミー]が運営する教育×テクノロジーのWebメディアです。初心者でもすぐ勉強できる記事が2,000以上あります。

Pythonのurllibモジュールの使い方について解説します。

Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をまずご覧ください。

 

なお本記事は、TechAcademyのPythonオンライン講座の内容をもとにしています。

 

田島悠介

今回は、Pythonに関する内容だね!

大石ゆかり

どういう内容でしょうか?

田島悠介

urllibモジュールの使い方について詳しく説明していくね!

大石ゆかり

お願いします!

 

urllibモジュールとは

urllibはURLを扱う幾つかのモジュールを集めたパッケージで、以下4つで構成されています。

  • urllib.request URLを開いて読むモジュール
  • urllib.parse URLをパースするためのモジュール
  • urllib.error urllib.requestの発生させる例外を含むモジュール
  • urllib.robotparser robots.txtファイルをパースするためのモジュール。

この記事では、利用頻度の高い前者2つを中心に解説します。

urllibモジュールの使い方

モジュールをインポートした後、用途に応じてメソッドを呼び出します。

import urllib.request
import urllib.parse

urllib.request.urlopen(...)
urllib.parse.urlparse(...)

メソッドを何度も呼び出す場合は、from import構文を使うのもよいです。

from urllib.request import urlopen
from urllib.parse import urlparse

urlopen(...)
urlparse(...)

 

詳細は公式のリファレンスを参照してください。

 

[PR] Pythonで挫折しない学習方法を動画で公開中

実際に書いてみよう

サンプルコード

Webサイトにアクセスし、内容をoutput.htmlファイルに保存するプログラムです。

import urllib.request

with urllib.request.urlopen('http://www.example.org') as f:
  with open('output.html', 'w') as g:
    print(f.read().decode(), file=g)

 

実行結果

カレントディレクトリにoutput.htmlファイルが保存されました。

解説

最初にurllib.requestモジュールをインポートしました。

urlopenでWebサイトの中身を読み込みました。また、output.htmlファイルを書き込みモードで開きました。

レスポンスをreadメソッドで読み出し、ファイルに出力しました。

 

サンプルコード

import urllib.parse

result = urllib.parse.urlparse('http://www.example.org/path/to/file.html?abc=123&def=456')
print(result.scheme)
print(result.netloc)
print(result.path)
print(result.query)

 

実行結果

http
www.example.org
/path/to/file.html
abc=123&def=456

 

解説

最初にurllib.parseモジュールをインポートしました。次にurlparseメソッドで、URLを解析しました。

scheme, netloc, path, queryを参照することで、スキーム、FQDN、パス、クエリ文字列を取得できることを確認できました。

 

監修してくれたメンター

橋本紘希

システムインテグレータ企業勤務のシステムエンジニア。

開発実績: Javaプログラムを用いた業務用Webアプリケーションや、基幹システム用バッチアプリケーションなどの設計構築試験。

 

大石ゆかり

内容分かりやすくて良かったです!

田島悠介

ゆかりちゃんも分からないことがあったら質問してね!

大石ゆかり

分かりました。ありがとうございます!

オンラインのプログラミングスクールTechAcademyではPythonを使って機械学習の基礎を学ぶPythonオンライン講座を開催しています。

初心者向けの書籍を使って人工知能(AI)や機械学習について学ぶことができます。

現役エンジニアがパーソナルメンターとして受講生に1人ずつつき、マンツーマンのメンタリングで学習をサポートし、最短4週間で習得することが可能です。

また、現役エンジニアから学べる無料のプログラミング体験会も実施しているので、ぜひ参加してみてください。