Python

Pythonによるurlopen関数の利用方法を現役エンジニアが解説【初心者向け】

初心者向けにPythonによるurlopen関数の利用方法について現役エンジニアが解説しています。urlopen関数はPythonでURLを扱うurllibモジュールの関数で、指定したファイルの内容を取得するものです。レスポンスオブジェクトからHTTPレスポンスを読み込みます。

テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元：GMOリサーチ株式会社　調査期間：2021年8月12日～8月16日　調査対象：2020年8月以降にプログラミングスクールを受講した18～80歳の男女1,000名　調査手法：インターネット調査

Pythonによるurlopen関数の利用方法について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して初心者向けに解説します。

Pythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まるでしょう。

なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。

今回は、Pythonに関する内容だね！

どういう内容でしょうか？

Pythonによるurlopen関数の利用方法について詳しく説明していくね！

お願いします！

urlopen関数とは？

urlopen関数とはPythonのurllibモジュールで使われるURLを取得するためのメソッドです。

urllibはURLを使用するためのモジュールであり、その中にurlopen関数が含まれています。

urllibの使い方

まずは、urllib.requestモジュールをインポートしましょう。

次に、urlopenメソッドの引数で、アクセスしたいURLを指定します。

urlopenメソッドはレスポンスをオブジェクトとして返します。

上記オブジェクトに対してreadメソッドを呼び出すと、HTTPレスポンスを読み取ることが可能です。

[PR] Pythonで挫折しない学習方法を動画で公開中

urlopen関数を利用してスクレイピングしてみよう

ソースコード

import urllib.request

with urllib.request.urlopen('https://techacademy.jp/') as u:
  print(u.info())
  print(u.read())

実行結果

Date: Sat, 28 Dec 2019 22:44:23 GMT
Content-Type: text/html; charset=utf-8
Content-Length: 84564
Connection: close
X-Frame-Options: SAMEORIGIN
X-XSS-Protection: 1; mode=block
X-Content-Type-Options: nosniff
ETag: W/"8565f768f3d192247155e483e83fcef8"
Cache-Control: max-age=0, private, must-revalidate
X-Request-Id: df0aa851-96c3-41bf-9537-89c31d41182a
X-Runtime: 0.065610

b' (...以下略...)

解説

urlopenメソッドでTechAcademyのサイトにアクセスしています。

with-as構文を使った場合、事後のcloseは不要です。

infoメソッドでHTTPレスポンスヘッダの情報を表示しました。

readメソッドでHTTPレスポンスの内容を表示しています。

執筆してくれたメンター

橋本紘希（はしもとひろき）

システムインテグレータ企業勤務のシステムエンジニア。

開発実績: Javaプログラムを用いた業務用Webアプリケーションや基幹システム用バッチアプリケーションなどの設計構築試験。

Pythonによるurlopen関数の利用方法がよくわかったので良かったです！

ゆかりちゃん、これからも分からないことがあったら質問してね！

分かりました。ありがとうございます！

TechAcademyでは、初心者でも、Pythonを使った人工知能（AI）や機械学習の基礎を習得できるオンラインブートキャンプを開催しています。

また、現役エンジニアから学べる無料体験も実施しているので参加してみてください。

プログラミングを独学で学習していて、このように感じた経験はないでしょうか？

・調べてもほしい情報が見つからない
・独学のスキルが実際の業務で通用するのか不安
・目標への学習プランがわからず、迷子になりそう

テックアカデミーでは、このような学習に不安を抱えている方へ、マンツーマンで相談できる機会を無料で提供しています。
30分間、オンラインでどんなことでも質問し放題です。

「受けてよかった」と感じていただけるようカウンセラーやエンジニア・デザイナーがあなたの相談に真摯に向き合います。

「自分に合っているか診断してほしい」
「漠然としているが話を聞いてみたい」
こんなささいな悩みでも大丈夫です。

無理な勧誘は一切ありませんので、まずはお気軽にご参加ください。
※体験用のカリキュラムも無料で配布いたします。（1週間限定）

今なら参加者限定の割引特典付き！無料相談を予約する

Pythonのexp関数を利用して指数関数を求める方法を現役エンジニアが解説【初心者向け】

Pythonのexp関数を利用して指数関数を求める方法法について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して、初心者向けに解説し...

Python

Pythonにおけるwritelines()の利用方法を現役エンジニアが解説【初心者向け】

Pythonにおけるwritelines()の利用方法について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して、初心者向けに解説しま...

Python

Pythonにおける文字列と数値の相互変換を現役エンジニアが解説【初心者向け】

Pythonにおける文字列と数値の相互変換について解説します。そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事...

Python

Pythonの予約語に関して現役エンジニアが解説【初心者向け】

Pythonの予約語(キーワード)に関して、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して、初心者向けに解説します。 Pyth...

Python

Pythonでタプルの要素を取り出す方法を現役エンジニアが解説【初心者向け】

Pythonでタプルの要素を取り出す方法について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して、初心者向けに解説します。 &...

Python

Pythonのdatetimeモジュールのtoordinal関数について現役エンジニアが解説【初心者向け】

Pythonのdatetimeモジュールのtoordinal関数について、TechAcademyのメンター（現役エンジニア）が実際のコードを使用して、初心者向け...

Python

あわせてよく読まれている記事

Pythonのurllibモジュールの使い方を現役エンジニアが解説【初心者向け】

Pythonのurllibモジュールの使い方について解説します。そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。田島悠介今回は、Pythonに関する内容だね！大石ゆかりどういう内容でしょうか？田島悠介 urllibモジュールの使い方について詳しく説明していくね！大石ゆかりお願いします！ urllibモジュールとは urllibはURLを扱う幾つかのモジュールを集めたパッケージで、以下4つで構成されています。 urllib.request URLを開いて読むモジュール urllib.parse URLをパースするためのモジュール urllib.error urllib.requestの発生させる例外を含むモジュール urllib.robotparser robots.txtファイルをパースするためのモジュール。この記事では、利用頻度の高い前者2つを中心に解説します。 urllibモジュールの使い方モジュールをインポートした後、用途に応じてメソッドを呼び出します。 import urllib.request import urllib.parse urllib.request.urlopen(...) urllib.parse.urlparse(...) メソッドを何度も呼び出す場合は、from import構文を使うのもよいです。 from urllib.request import urlopen from urllib.parse import urlparse urlopen(...) urlparse(...) 詳細は公式のリファレンスを参照してください。 [PR] Pythonで挫折しない学習方法を動画で公開中実際に書いてみようサンプルコード Webサイトにアクセスし、内容をoutput.htmlファイルに保存するプログラムです。 import urllib.request with urllib.request.urlopen('http://www.example.org') as f: with open('output.html', 'w') as g: print(f.read().decode(), file=g) 実行結果カレントディレクトリにoutput.htmlファイルが保存されました。解説最初にurllib.requestモジュールをインポートしました。 urlopenでWebサイトの中身を読み込みました。また、output.htmlファイルを書き込みモードで開きました。レスポンスをreadメソッドで読み出し、ファイルに出力しました。サンプルコード import urllib.parse result = urllib.parse.urlparse('http://www.example.org/path/to/file.html?abc=123&def=456') print(result.scheme) print(result.netloc) print(result.path) print(result.query) 実行結果 http www.example.org /path/to/file.html abc=123&def=456 解説最初にurllib.parseモジュールをインポートしました。次にurlparseメソッドで、URLを解析しました。 scheme, netloc, path, queryを参照することで、スキーム、FQDN、パス、クエリ文字列を取得できることを確認できました。監修してくれたメンター橋本紘希システムインテグレータ企業勤務のシステムエンジニア。開発実績: Javaプログラムを用いた業務用Webアプリケーションや、基幹システム用バッチアプリケーションなどの設計構築試験。大石ゆかり内容分かりやすくて良かったです！田島悠介ゆかりちゃんも分からないことがあったら質問してね！大石ゆかり分かりました。ありがとうございます！ TechAcademyでは、初心者でもPythonを使った人工知能（AI）や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。プログラミングを独学で学習していて、このように感じた経験はないでしょうか？・調べてもほしい情報が見つからない

Python

Pythonのurllib.requestモジュールとよく使うurlopenの使い方を現役エンジニアが解説【初心者向け】

Pythonのurllib.requestモジュールの使い方について解説します。そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。田島悠介今回は、Pythonに関する内容だね！大石ゆかりどういう内容でしょうか？田島悠介 Pythonのurllib.requestモジュールの使い方について詳しく説明していくね！大石ゆかりお願いします！ urllib.requestモジュールとは urllibモジュールは、PythonでURLを扱うためのモジュールです。 urllib.requestモジュールは、その中でも特にHTTPリクエストの送信に特化したモジュールです。 urllib.requestモジュールの使い方最もよく用いるのはurlopenメソッドです。指定したURLにアクセスして内容を取得します。 u = urllib.request.urlopen(<url>) try: # uに対して操作 finally: u.close() with-as構文を使うと、close処理を省略できます。 with urllib.request.urlopen(<url>) as u: # uに対して操作詳細は公式のリファレンスを参照してください。 [PR] Pythonで挫折しない学習方法を動画で公開中実際に書いてみようサンプルコード import urllib.request with urllib.request.urlopen('http://www.example.org/') as response: print(response.getcode()) print(response.info()) with open('output.html', 'w') as save_file: print(response.read().decode(), file=save_file) 実行結果コンソールに以下の内容が表示されました。また、カレントディレクトリにoutput.htmlファイルが保存されました。 200 Cache-Control: max-age=604800 Content-Type: text/html; charset=UTF-8 Date: Sat, 22 Jun 2019 02:31:31 GMT Etag: "1541025663+ident" Expires: Sat, 29 Jun 2019 02:31:31 GMT Last-Modified: Fri, 09 Aug

Python

Pythonにおけるbs4のインストール方法と使い方を現役エンジニアが解説【初心者向け】

Pythonにおけるbs4のインストール方法と使い方について、テックアカデミーのメンター（現役エンジニア）が実際のコードを使用して初心者向けに解説します。 Pythonでbs4を利用すると、HTMLファイルやXMLファイルからデータを抽出することができます。実務でもbs4を利用した自動化処理を行いますので、ぜひ学習してみてください。目次urlopen関数とは？urllibの使い方urlopen関数を利用してスクレイピングしてみよう執筆してくれたメンターそもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。田島悠介今回は、Pythonに関する内容だね！大石ゆかりどういう内容でしょうか？田島悠介 Pythonにおけるbs4のインストール方法と使い方について詳しく説明していくね！大石ゆかりお願いします！本記事では、サードパーティ製のHTMLパーサライブラリであるbs4(beautifulsoup4)についての概要と、サンプルコードから使い方を紹介していきます。 bs4とは？ bs4とは、Pythonでよく使用されているサードパーティ製のHTMLパーサライブラリです。 bs4では、インスタンス生成時に使用するパーサライブラリを指定でき、XMLをパースすることが可能です。パーサとは、プログラムのソースコードやXML文書など、一定の文法に従って記述された複雑な構造のテキスト文書を解析し、プログラムで扱えるようなデータ構造の集合体に変換するプログラムのことを意味します。パースとは、パーサプログラムで実際に解析変換する処理を意味します。 bs4のインストール bs4はPyPIで配布されているため、pipでインストールすることが可能です。 pip install beautifulsoup4 [PR] Pythonで挫折しない学習方法を動画で公開中bs4の使い方基本的な使い方は以下の通りです。 HTML文字列を用意するパーサを指定してHTML文字列を元にBeautifulSoupオブジェクトを生成する BeautifulSoupから必要となるデータを抽出するサンプルコード from bs4 import BeautifulSoup html = "<body><h1>python入門</h1><p>pythonの基礎について学習します</p></body>" soup = BeautifulSoup(html, "html.parser") print(soup.h1) 実行結果 <h1>python入門</h1> 解説 1行目ではbs4ライブラリをインポートしています。 2行目ではHTML文字列を用意しています。 3行目ではHTML文字列を元にBeautifulSoupオブジェクトを生成しています。第1引数のHTML_TEXTの部分は取ってきたHTMLをそのまま渡して、第2引数はパーサを指定します。 4行目ではBeautifulSoupオブジェクトからh1のタグを指定してデータを抽出しています。 BeautifulSoupオブジェクトからのデータ抽出方法は大きく分けて3つあります。 Tagオブジェクトを使用 find_allメソッドを使用 selectメソッドを使用したCSSセレクタ今回は、Tagオブジェクトについて学習しますが、実務上ではfind_allメソッドの使用でほとんど事足ります。また、HTML文字列の取得はurllibなどでURLを指定して、インターネットから取得する事も可能です。コラムコスパとタイパ、両方結果的に良くなる良くなる学び方とは？「スクールは高いし時間も縛られて効率が悪い」と考える方は多いと思います。もちろん、時間も費用もかかることは間違いありません。ただ結果的に無駄な学びにお金も時間もかける方がリスクが高いという考えもあります。コスパ・タイパ最適化の参考として、

Python

Javaで簡易な掲示板を作成する方法を現役エンジニアが解説【初心者向け】

Javaで簡易な掲示板を作成する方法について解説します。実際にプログラムを書いて説明しているので、ぜひ理解しておきましょう。そもそもJavaについてよく分からないという方は、Javaとは何なのか解説した記事を読むとさらに理解が深まります。なお本記事は、TechAcademyのオンラインブートキャンプJava講座の内容をもとに作成しています。田島悠介今回は、Javaに関する内容だね！大石ゆかりどういう内容でしょうか？田島悠介簡易な掲示板を作成する方法について詳しく説明していくね！大石ゆかりお願いします！掲示板の設計名前とメッセージを入力して投稿する簡易的な掲示板を作成します。掲示板の内容はデータベースに保存し、投稿機能でデータ追加、ページアクセスでデータを全件表示します。作成するものは以下です。データベースデータモデルデータベースアクセスオブジェクト(DAO) 投稿したメッセージの一覧表示と、投稿フォームをもつ画面データベースからデータを全件取得し、取得データを画面へ引き渡すサーブレット画面の入力フォームの内容を元に、データベースに一件データを追加するサーブレット eclipse　Maven MySQL を用いて実装します。またローカルのtomcatへデプロイをして動作確認を行います。実際に作成してみよう eclipseで動的WEBプロジェクトを新規作成してからMavenプロジェクトへ変換します。pom.xmlに以下3つの依存関係を追加します。 <dependencies> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.45</version> </dependency> <dependency> <groupId>org.apache.taglibs</groupId> <artifactId>taglibs-standard-impl</artifactId> <version>1.2.5</version> </dependency> <dependency> <groupId>javax.servlet.jsp.jstl</groupId> <artifactId>javax.servlet.jsp.jstl-api</artifactId> <version>1.2.1</version> </dependency> </dependencies> データベースとテーブルを作成します。 create database sample default character

Java

wgetをPythonで実装する方法を現役エンジニアが解説【初心者向け】

wgetをPythonで実装する方法について解説します。そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。田島悠介今回は、Pythonに関する内容だね！大石ゆかりどういう内容でしょうか？田島悠介 wgetをPythonで実装する方法について詳しく説明していくね！大石ゆかりお願いします！ wgetとは wgetとは、UNIX, Linux環境に広く搭載されているコマンドです。HTTP, HTTPS, FTP, FTPSといったプロトコルを使用し、インターネット上のファイルを取得できます。多数のファイルを一括取得したり、シェルスクリプト(バッチファイル)で処理を自動化したりする際に頻繁に用いられます。 wgetのインストール方法と使い方環境によっては、wgetコマンドがデフォルトでインストールされています。 RedHat系のOSの場合、yumコマンドで追加インストールします。 yum install wget Debian系のOSの場合、aptコマンドで追加インストールします。 apt install wget Webページ(HTMLファイル)を取得し保存するコマンド例は以下の通りです。コマンドを実行すると、カレントディレクトリにindex.htmlファイルが保存されます。 wget http://techacademy.jp/magazine/wp-content/uploads/2017/07/index.html2_-620x437-e1499391542321.png [PR] Pythonで挫折しない学習方法を動画で公開中wgetをPythonで実装する方法ここではwgetと同等の機能(指定したURLのファイルを取得し保存する)をPythonで実装してみます。 URLを扱うには、urllib.request.urlopenメソッドが便利です。実際に書いてみようソースコード import urllib.request url = 'http://www.example.org' with urllib.request.urlopen(url) as u: with open('index.html', 'bw') as o: o.write(u.read()) 実行結果指定のURLから取得した、index.htmlファイルが、カレントディレクトリに保存されました。解説 1行目でurllib.requestモジュールをインポートしました。 4行目でurlopenメソッドを呼び出しました。クローズ処理を容易にするため、with-as構文を使いました。 5行目で出力先のファイルを開きました。バイト文字列を読み書きするため、bオプションを指定しました。 6行目でURLから読み取った内容を、ファイルに書き出しました。コラムコスパとタイパ、両方結果的に良くなる良くなる学び方とは？「スクールは高いし時間も縛られて効率が悪い」と考える方は多いと思います。もちろん、時間も費用もかかることは間違いありません。ただ

Python

HTTPリクエストを簡単に！npm requestを使う方法【初心者向け】

今回は、npm requestについて解説します。 HTTPリクエストを簡単に行いたい場合に参考にしてみてください。実際にrequestをインストールして使う手順を書いているので、自身でも書きながら理解していきましょう。なお本記事は、TechAcademyのNode.jsオンライン講座の内容をもとに作成しています。 npm requestとは npm requestとは、npmを利用して利用することができるHTTPリクエスト機能です。 HTTPリクエストとは、HTTPは Hypertext Transfer Protocol （ハイパーテキスト・トランスファー・プロトコル）を要求することです。ハイパーテキストとは、HTMLファイルです。トランスファーは、受け渡しを意味し、プロトコルは決まり事で、規約とも呼ばれます。つまり、HTTPリクエストとはHTMLファイルの受け渡し上の規約と言う事です。 npm requestを利用することでこのHTML受け渡しの機能を簡単に利用できます。 npmとは、Node.jsのパッケージマネージャです。 npm requestを使う方法インストールコマンド npm install request 解説 npm install requestでnpmを利用したrequestモジュールのインストールが可能です。 npm installについての記事も合わせて参考にしてみて下さい。 [PR] Pythonで挫折しない学習方法を動画で公開中HTTPリクエスト方法ソースコード var request = require('request'); request.get('http://techacademy.jp', function(err, res, body) { if (err) { console.log('Error: ' + err.message); return; } console.log(body); }); 実行結果テックアカデミーのソースコードが表示されます。解説 1行目の、var request = require(‘request’);では、requireを利用してrequestモジュールを呼び出しています。 2行目の、request.get(‘http://techacademy.jp’, function(err, res, body) {では、http://techacademy.jpというURLをパラメーターとしてページ情報を取得しています。 3行目の、if (err) {では、2行目の処理がエラーだった場合の条件を指定しています。 4行目の、console.log(‘Error: ‘ + err.message);では、3行目の条件に当てはまる場合エラーメッセージを表示する処理をしています。 5行目の、return;では、4行目のエラー表示後処理を終了する処理をしています。 6行目の、}では、3行目の処理を終了しています。 7行目の、console.log(body);では、2行目の処理で無事データリクエストが完了しページデータを取得できた場合に、データを表示結果のように表示しています。 8行目の、});では、2行目の処理を終了しています。今回は、npm requestについて解説しました。 HTTPリクエストを行う際にぜひ参考にしてみてください。また、オンラインのプログラミングスクールTechAcademyでは、Node.jsオンライン講座を開催しています。 Node.jsを使ってWebアプリケーションを開発することができます。現役エンジニアがパーソナルメンターとして受講生に1人ずつつき、マンツーマンのメンタリングで学習をサポートし、習得することが可能です。

Node.js

記事を検索

ニュース

インタビュー

テクノロジー

キャリア

お問い合わせ

Pythonによるurlopen関数の利用方法を現役エンジニアが解説【初心者向け】

urlopen関数とは？

urllibの使い方