Pythonのurllib.requestモジュールとよく使うurlopenの使い方を現役エンジニアが解説【初心者向け】

初心者向けにPythonのurllib.requestモジュールの使い方について現役エンジニアが解説しています。urllibモジュールは、PythonでURLやHTTP送信を扱うためのモジュールです。サンプルではurlopenメソッドを利用してアクセスしたサイトの内容をファイルに保存しています。

TechAcademyマガジンはオンラインのプログラミングスクールTechAcademy [テックアカデミー]が運営する教育×テクノロジーのWebメディアです。初心者でもすぐ勉強できる記事が2,000以上あります。

Pythonのurllib.requestモジュールの使い方について解説します。

Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をまずご覧ください。

 

なお本記事は、TechAcademyのPythonオンライン講座の内容をもとにしています。

 

田島悠介

今回は、Pythonに関する内容だね!

大石ゆかり

どういう内容でしょうか?

田島悠介

Pythonのurllib.requestモジュールの使い方について詳しく説明していくね!

大石ゆかり

お願いします!

 

urllib.requestモジュールとは

urllibモジュールは、PythonでURLを扱うためのモジュールです。

urllib.requestモジュールは、その中でも特にHTTPリクエストの送信に特化したモジュールです。
 

urllib.requestモジュールの使い方

最もよく用いるのはurlopenメソッドです。
指定したURLにアクセスして内容を取得します。

 

u = urllib.request.urlopen(<url>)
try:
  # uに対して操作
finally:
  u.close()

 
with-as構文を使うと、close処理を省略できます。
 

with urllib.request.urlopen(<url>) as u:
  # uに対して操作

 
詳細は公式のリファレンスを参照してください。
 

[PR] Pythonで挫折しない学習方法を動画で公開中

実際に書いてみよう

サンプルコード

import urllib.request

with urllib.request.urlopen('http://www.example.org/') as response:
  print(response.getcode())
  print(response.info())
  
  with open('output.html', 'w') as save_file:
    print(response.read().decode(), file=save_file)

 

実行結果

コンソールに以下の内容が表示されました。
また、カレントディレクトリにoutput.htmlファイルが保存されました。
 

200
Cache-Control: max-age=604800
Content-Type: text/html; charset=UTF-8
Date: Sat, 22 Jun 2019 02:31:31 GMT
Etag: "1541025663+ident"
Expires: Sat, 29 Jun 2019 02:31:31 GMT
Last-Modified: Fri, 09 Aug 2013 23:54:35 GMT
Server: ECS (sec/96DC)
Vary: Accept-Encoding
X-Cache: HIT
Content-Length: 1270
Connection: close

 

解説

urllib.requestモジュールをインポートしました。
urlopenで http://www.example.org というURLにアクセスしました。
getcodeメソッドでHTTP応答コードを取得しました。200で成功とわかります。
infoメソッドでHTTP応答ヘッダ情報を表示しました。
readメソッドでHTTP応答本体を読み出し、output.htmlというファイルに書き込みました。

 

監修してくれたメンター

橋本紘希

システムインテグレータ企業勤務のシステムエンジニア。

開発実績: Javaプログラムを用いた業務用Webアプリケーションや、基幹システム用バッチアプリケーションなどの設計構築試験。

 

大石ゆかり

内容分かりやすくて良かったです!

田島悠介

ゆかりちゃんも分からないことがあったら質問してね!

大石ゆかり

分かりました。ありがとうございます!

オンラインのプログラミングスクールTechAcademyではPythonを使って機械学習の基礎を学ぶPythonオンライン講座を開催しています。

初心者向けの書籍を使って人工知能(AI)や機械学習について学ぶことができます。

現役エンジニアがパーソナルメンターとして受講生に1人ずつつき、マンツーマンのメンタリングで学習をサポートし、最短4週間で習得することが可能です。

また、現役エンジニアから学べる無料のプログラミング体験会も実施しているので、ぜひ参加してみてください。