TechAcademy（テックアカデミー） プログラミングPythonPythonのRequestsモジュールの使い方【初心者向け】
Python

PythonのRequestsモジュールの使い方【初心者向け】

初心者向けにPythonのRequestsモジュールの使い方について解説しています。HTTP通信ライブラリRequestsの導入と、それを使ったWeb上のデータ収集の方法について見ていきましょう。

TechAcademyマガジンはオンラインのプログラミングスクールTechAcademy [テックアカデミー]が運営する教育×テクノロジーのWebメディアです。初心者でもすぐ勉強できる記事が2,000以上あります。

PythonのRequestsモジュールの使い方について解説します。

Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をまずご覧ください。

 

なお本記事は、TechAcademyのPythonオンライン講座の内容をもとにしています。

 

田島悠介

今回は、Pythonに関する内容だね！

大石ゆかり

どういう内容でしょうか？

田島悠介

Requestsモジュールの使い方について詳しく説明していくね！

大石ゆかり

お願いします！

 

Requestsモジュールとは

Requestsは、 Python の HTTP 通信ライブラリです。 Requests を使うとWebサイトの情報取得や画像の収集などを簡単に行うことができます。Python には標準で urllib というライブラリが存在しますが、 Requests はそれよりもシンプルに、人が見て分かりやすくプログラムを記述することができます。

Requests ライブラリは、他のライブラリと組み合わせて使用することができます。例えば Beautiful Soup と組み合わせると、Webサイトを解析して必要な情報だけを抜き出すことができます。 Beautiful Soup については以下の記事も参考にしてください。

Pythonでスクレイピングを行う方法【初心者向け】

また、BytesIO と Pillow と組み合わせて、Webサイト上の画像URLをもとに、画像ファイルを取得することもできます。BytesIOについては以下の記事も参考にしてください。

BytesIO（およびStringIO、cStringIO）の使い方

 

requestsモジュールの使い方

まずは Requests ライブラリをインストールしましょう。パソコンが Macならターミナル、Windowsならコマンドプロンプトから以下のコマンドでインストールします。なお、事前に Python のインストールが必要です。

pip install requests

Requests の利用方法は以下の通りです。

requests.request(method, url, オプション)

methodには”get”や”post”などを指定します。または、すでにmethodが指定されているメソッドも用意されています。

requests.get(url,オプション)
requests.post(url,オプション)
requests.put(url,オプション)
requests.delete(url,オプション)
requests.head(url,オプション)
requests.options(url,オプション)

urlには情報を収集するWebサイトのURLを指定します。オプションの指定方法など、詳しくは公式ドキュメントを参考にしてください。

http://docs.python-requests.org/en/master/

日本語版も用意されています。

https://requests-docs-ja.readthedocs.io/en/latest/

 

[PR] Pythonで挫折しない学習方法を動画で公開中

実際に書いてみよう

今回のサンプルプログラムでは、 Requests ライブラリを使用してWebサイトから情報を取得する方法を確認します。今回はYahooニュースから情報を取得してみます。

import requests
 r = requests.get("https://news.yahoo.co.jp/")
 print(r.text)

実行結果は以下のようになります（一部抜粋）。

<!DOCTYPE html>
<html lang="ja"
    xmlns:og="http://ogp.me/ns#"
    xmlns:fb="http://ogp.me/ns/fb#">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta http-equiv="Content-Style-Type" content="text/css">
<meta http-equiv="Content-Script-Type" content="text/javascript">
<title>Yahoo!ニュース</title>
<meta name="description" content="Yahoo!ニュースは、新聞・通信社が配信するニュースのほか、映像、雑誌や個人の書き手が執筆する記事など多種多様なニュースを掲載しています。">
<meta name="keywords" content="ニュース,ヤフー,新着">
<meta name="robots" content="noarchive">
<meta name="format-detection" content="telephone=no">
<meta name="google-site-verification" content="dVyTbsDzUrUAjCE1aCH9hKwZ8sOsCsvi2uhuBvasrp8" />
<link rel="apple-touch-icon-precomposed" href="https://s.yimg.jp/c/icon/s/bsc/2.0/news120.png"/>
<meta name="msapplication-TileImage" content="https://s.yimg.jp/c/icon/s/bsc/2.0/news144.png"/>
<meta name="msapplication-TileColor" content="#FFFFFF"/>

 

この記事を監修してくれた方

太田和樹（おおたかずき）
ITベンチャー企業のPM兼エンジニア

普段は主に、Web系アプリケーション開発のプロジェクトマネージャーとプログラミング講師を行っている。守備範囲はフロントエンド、モバイル、サーバサイド、データサイエンティストと幅広い。その幅広い知見を生かして、複数の領域を組み合わせた新しい提案をするのが得意。

開発実績：画像認識技術を活用した駐車場混雑状況把握（実証実験）、音声認識を活用したヘルプデスク支援システム、Pepperを遠隔操作するアプリの開発、大規模基幹系システムの開発・導入マネジメント

地方在住。仕事のほとんどをリモートオフィスで行う。通勤で消耗する代わりに趣味のDIYや家庭菜園、家族との時間を楽しんでいる。

 

大石ゆかり

内容分かりやすくて良かったです！

田島悠介

ゆかりちゃんも分からないことがあったら質問してね！

大石ゆかり

分かりました。ありがとうございます！

オンラインのプログラミングスクールTechAcademyではPythonを使って機械学習の基礎を学ぶPythonオンライン講座を開催しています。

初心者向けの書籍を使って人工知能（AI）や機械学習について学ぶことができます。

現役エンジニアがパーソナルメンターとして受講生に1人ずつつき、マンツーマンのメンタリングで学習をサポートし、最短4週間で習得することが可能です。

また、現役エンジニアから学べる無料のプログラミング体験会も実施しているので、ぜひ参加してみてください。

記事を検索

関連するキーワード

関連する記事

Pythonでitertoolsモジュールを使って直積を求める方法 【初心者向け】

Pythonで直積を求める方法 （itertoolsモジュールの使い方）について解説します。 Pythonについてそもそもよく分からないという方は、Pyt...
Python

Pythonでappendメソッドを使う方法【初心者向け】

今回は、Pythonでappendメソッドを使う方法を解説します。 配列に要素を追加する際に使うメソッドなので、覚えておくと良いでしょう。 &nbs...
Python

Pythonで変数に格納した配列要素を削除する方法を現役エンジニアが解説【初心者向け】

Pythonで配列の要素を削除する方法について解説します。 Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をま...
Python

Pythonのlxmlライブラリの使い方【初心者向け】

Pythonのlxmlライブラリの使い方について解説します。 Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事を...
Python

Pythonでlist（リスト）を検索する方法【初心者向け】

Pythonでlistを検索する方法について解説します。 Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をまず...
Python

Pythonで多重ループから脱出する方法を現役エンジニアが解説【初心者向け】

Pythonで多重ループから脱出する方法について解説します。 Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事を...
Python

あわせてよく読まれている記事

Pythonでモジュールをインストールする方法を現役エンジニアが解説【初心者向け】

Pythonでモジュールをインストールする方法について解説します。 Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をまずご覧ください。   なお本記事は、TechAcademyのPythonオンライン講座の内容をもとにしています。   田島悠介 今回は、Pythonに関する内容だね！ 大石ゆかり どういう内容でしょうか？ 田島悠介 モジュールをインストールする方法について詳しく説明していくね！ 大石ゆかり お願いします！   モジュールをインストールする方法 サードパーティ製モジュールのインストールにより、Pythonの機能を拡張したり、効率的にコーディングできたりします。 インストール方法はモジュールにより異なりますが、多くのモジュールで共通して使えるのがpipコマンドです。 pipコマンドはPythonに付属しており、Python本体と同時にインストールされます。 インストーラ・プログラムpipの使い方 pipコマンドはいくつかのサブコマンドを取ります。 install モジュールをインストールします uninstall モジュールをアンインストールします list インストールされているモジュールを羅列します pipとだけ入力すると、ヘルプメッセージが表示されます   モジュールを指定してインストールするには、以下のようにinstallに続けてモジュール名を指定します。 pip install module Python Package Index(PyPI)にはPythonのモジュール数万点が紹介されています。 多くのモジュールで、上記のコマンドでのインストール方式が提供されています。   [PR] Pythonで挫折しない学習方法を動画で公開中実際にインストールしてみよう 実行例 HTTP操作を行うモジュールとして著名な、requestsモジュールをインストールしてみます。 user@a7579efb816a:/projects$ python -m venv test user@a7579efb816a:/projects$ cd test user@a7579efb816a:/projects/test$ source bin/activate (test) user@a7579efb816a:/projects/test$ python Python 3.5.1 (default, Jul 5 2018, 13:06:10) [GCC 5.4.0 20160609] on linux Type "help", "copyright", "credits" or "license" for more information. >>> import requests Traceback (most recent call last): File "", line 1, in ImportError: No module named 'requests' >>> (test)
Python

Pythonのsubprocessモジュールの使い方【初心者向け】

Pythonのsubprocessモジュールの使い方について解説します。 Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をまずご覧ください。   なお本記事は、TechAcademyのPythonオンライン講座の内容をもとにしています。   田島悠介 今回は、Pythonに関する内容だね！ 大石ゆかり どういう内容でしょうか？ 田島悠介 subprocessモジュールの使い方について詳しく説明していくね！ 大石ゆかり お願いします！   subprocessモジュールとは subprocessとは、 Python のプログラムから他のアプリを起動したり、実行結果を得たりするモジュールです。 Python の標準ライブラリに含まれています。   subprocessモジュールの使い方 subprocessモジュールを使うには以下のように記述します。 import subprocess subprocess.run(["実行するコマンド"], オプション) オプションには主に以下のものがあります。 オプション名 説明 記述例 cwd 実行するディレクトリを指定 cwd=”~/temp” stdout 標準出力。実行結果を取得する場合に指定 stdout = subprocess.PIPE stderr 標準エラー。実行結果を取得する場合に指定 stderr = subprocess.PIPE shell 標準のシェルで実行する場合に指定 shell = True   [PR] Pythonで挫折しない学習方法を動画で公開中実際に書いてみよう 今回のサンプルプログラムは、 subprocess を使用して「ls」コマンドを実行し、結果を print メソッドで表示してみます。実行結果は UTF-8 文字列で返ります。 import subprocess proc = subprocess.run(["ls"],stdout = subprocess.PIPE, stderr = subprocess.PIPE) print(proc.stdout.decode("utf8")) 実行結果は以下のようになります。実行結果はパソコンによって異なります。 test1.py test2.py sampledir なお、 Windows で実行する場合は「ls」コマンドは「dir」となります。また「shell = True」を付けないとエラーになります。実行結果は CP932(シフトJISの亜種) 文字列で返ります。 import subprocess proc = subprocess.run(["dir"], shell=True, stdout = subprocess.PIPE, stderr = subprocess.PIPE) print(proc.stdout.decode("cp932")) 実行結果は以下のようになります。実行結果はパソコンによって異なります。 ドライブ C のボリューム ラベルは Windows です ボリューム シリアル番号は XXXX-XXXX です
Python

RubyのNKFモジュールの使い方を現役エンジニアが解説【初心者向け】

RubyのNKFモジュールの使い方について解説します。 Rubyについてそもそもよく分からないという方は、Rubyとは何なのか解説した記事をまずご覧ください。   なお本記事は、TechAcademyのWebアプリケーションオンラを現役エンジニアが解説【初心者向け】インブートキャンプの内容をもとに紹介しています。   田島悠介 今回は、Rubyに関する内容だね！ 大石ゆかり どういう内容でしょうか？ 田島悠介 NKFモジュールの使い方について詳しく説明していくね！ 大石ゆかり お願いします！   NKFモジュールとは NKFモジュールとはひらがなをカタカナに変換したり、全角を半角へ変換するのを簡単に行えるようにするために、文字列を操作するためのRubyの標準ライブラリです。   NKFモジュールの使い方 まず、require ‘nkf’ でNKFモジュールを読み込みます。 次に、NKF.nkf(オプション、文字列)と書きます。 オプションはカタカナにする場合は “-h1″、ひらがなにする場合は “-h2” を書きます。出力するエンコーディングを指定することもできます。 “-s” はShift_JIS での出力を指定しますし、”-w” は UTF-8 での出力を指定します。   また、全角スペースを半角スペースに変換することもできます。 “-Z1″ は全角空白を半角空白へ変換します。”-Z2″ は全角空白を半角空白へ変換します。   [PR] Pythonで挫折しない学習方法を動画で公開中実際に書いてみよう それでは実際に書いてみましょう。   require "nkf" s1 = "アマテラスオオミカミ" puts NKF.nkf("-h1 -w", s1) s2 = "さがみおおやま" puts NKF.nkf("-h2 -w", s2) #=> あまてらすおおみかみ サガミオオヤマ   カタカナはひらがなへ、ひらがなはカタカナへ変換されています。   require "nkf" s1 = "アマテラス　オオミカミ" puts NKF.nkf("-Z1 -w", s1) s2 = "アマテラス　オオミカミ" puts NKF.nkf("-Z2 -w", s2) #=> アマテラス オオミカミ アマテラス  オオミカミ   と全角スペースが半角スペース１つと２つへと変換されていますね。NKFモジュールはオプションを使うとまだまだいろいろとできますのいろいろとチャレンジしてみてください。   筆者プロフィール 町田　耕 学生時代は会計学専攻。塾講師勤務を経て、企業のCFOとして会社経営に携わる。 会社経営から一線を退いた後、インフラエンジニアの妻の勧めでプログラミングを独学で始め、プログラミングセミナーなど転々としながら、開発案件に携わるようになる。 現在、フリーランスとして活動しながらテックアカデミーのメンターも勤めている。   大石ゆかり 内容分かりやすくて良かったです！ 田島悠介 ゆかりちゃんも分からないことがあったら質問してね！ 大石ゆかり 分かりました。ありがとうございます！ TechAcademyでは初心者でも最短4週間でエンジニアになれるRuby on Railsオンラインブートキャンプを開催しています。 現役エンジニアがパーソナルメンターとして受講生に1人ずつつき、マンツーマンのメンタリングで学習をサポートし、最短4週間でオリジナルWebサービスを開発することが可能です。 また、現役エンジニアから学べる無料のプログラミング体験会も実施しているので、ぜひ参加してみてください。
Ruby

PythonのQueueモジュールの使い方【初心者向け】

PythonのQueueモジュールの使い方について解説します。 Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をまずご覧ください。   なお本記事は、TechAcademyのPythonオンライン講座の内容をもとにしています。   田島悠介 今回は、Pythonに関する内容だね！ 大石ゆかり どういう内容でしょうか？ 田島悠介 Queueモジュールの使い方について詳しく説明していくね！ 大石ゆかり お願いします！   Queueモジュールとは Queueモジュールとは、一定の順番で、複数のデータの挿入、取り出しが行えるライブラリです。マルチスレッドといって、複数のプログラムが並行して動作している場合でも正しく動作するようになっています。一定の順番とは、以下の3種類になります。 FIFOキュー(先入れ先出し) 基本的な、最初に入れたデータを最初に取り出す方法です。プログラミング用語では単にキューとも呼ばれます。 LIFOキュー(後入れ先出し) 最後に入れたデータを最初に取り出す方法です。プログラミング用語ではスタックとも呼ばれます。 優先順位付きキュー データの要素の値に基づいて取り出す順番を決める方法です。要素の値で並べ替えることをソートといいます。   Queueモジュールの使い方 Queue モジュールは Python の標準ライブラリに含まれています。なお、Python 2.x のときはライブラリの名称が「Queue」でしたが、 Python 3.x 系から「queue」と先頭も小文字に変わっているので注意しましょう。基本的なFIFOキューの書き方は以下の通りです。 q = queue.Queue() 次に、LIFOキューの書き方です。 q = queue.LifoQueue() 最後に優先順位付きキューの書き方です。 q = queue.PriorityQueue() キューへのデータの挿入は「put」、取り出しは「get」で行います。 q.put(データ) q.get()   [PR] Pythonで挫折しない学習方法を動画で公開中実際に書いてみよう 今回のサンプルプログラムでは、Queue ライブラリを使用し、FIFOキューとLIFOキューの違いを確認します。はじめにFIFOキューです。 # 必要なライブラリのインポート import queue # FIFOキューの作成 q = queue.Queue() # キューにデータを挿入する。挿入するデータは「0, 1, 2, 3, 4」 for i in range(5):     q.put(i) # キューからデータがなくなるまで取り出しを行う while not q.empty():     print(q.get()) 実行結果は以下のようになります。データが順番に取り出されているのが分かります。 0 1 2 3 4 次にLIFOキューです。上記のプログラムの「q = queue.Queue( )」を「q = queue.LifoQueue( )」に変更します。 # 必要なライブラリのインポート import queue # LIFOキューの作成 q = queue.LifoQueue() # キューにデータを挿入する。挿入するデータは「0, 1, 2, 3, 4」 for i in
Python

Pythonのheapqモジュールの使い方【初心者向け】

Pythonのheapqモジュールの使い方について解説します。 Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をまずご覧ください。   なお本記事は、TechAcademyのPythonオンライン講座の内容をもとにしています。   田島悠介 今回は、Pythonに関する内容だね！ 大石ゆかり どういう内容でしょうか？ 田島悠介 heapqモジュールの使い方について詳しく説明していくね！ 大石ゆかり お願いします！   heapqモジュールとは heapqモジュールは、 Python でヒープキューアルゴリズムの実装を提供しているモジュールです。ヒープキューアルゴリズムは、優先度キューアルゴリズムとしても知られています。 キューとは複数の要素が並んだものです。優先度キューとは、ある優先度に従い要素を取り出す仕組みを持ったキューです。ヒープキューとは優先度キューのアルゴリズムの1つで、全ての親の値が、その全ての子の値以下であるようなツリー構造になっており、その構造を生かして効率的に要素を取り出すことができます。 ヒープキューは効率的なソート(並べ替え)の手法であるヒープソートとして広く利用されて来ました。一般的に要素数が増えるとソートには時間がかかります。 例えば単純に全ての値の大小を比較しながら並べ替えるソート(バブルソート)の場合、要素数の2乗に比例した計算量(要素数をNとした場合、 O(N^2) )を要します。それに対してヒープソートは、要素数×Log(要素数)以内の計算量( O(N LogN) )であることが計算上確認されています。また全ての要素を確認しなくても親子関係だけでソートを行えるため、巨大なデータのソートに対しても効率的です。 heapqモジュールは Python の標準モジュールです。用意されているメソッドなど、詳細は公式ドキュメントを参考にしてください。 https://docs.python.jp/3/library/heapq.html   heapqモジュールの使い方 heapqモジュールを使うには、モジュールをインポートします。 import heapq ヒープキューに値を追加するには heappush メソッドを使います。 heapq.heappush(heap, item) またヒープキューから値を取り出すには heappop メソッドを使います。 heapq.heappop(heap)   [PR] Pythonで挫折しない学習方法を動画で公開中実際に書いてみよう 今回のサンプルプログラムでは、公式ドキュメントのソースを参考に、heapqモジュールの使い方を確認します。以下のソースを入力して、heapqtest.py という名前で保存してください。 import heapq def heapsort(iterable): h = [] for value in iterable: heapq.heappush(h, value) return [heapq.heappop(h) for i in range(len(h))] heapsort([1, 3, 5, 7, 9,
Python

Pythonのstructモジュールの使い方【初心者向け】

Pythonのstructモジュールの使い方について解説します。 Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をまずご覧ください。   なお本記事は、TechAcademyのPythonオンライン講座の内容をもとにしています。   田島悠介 今回は、Pythonに関する内容だね！ 大石ゆかり どういう内容でしょうか？ 田島悠介 structモジュールの使い方について詳しく説明していくね！ 大石ゆかり お願いします！   structモジュールとは struct とは、 Python でバイナリデータを処理するためのモジュールです。バイナリとはもともと2進数の意味です。コンピューターで扱えるデータは全てバイナリデータですが、一般的に人間が読んで理解できるテキストデータと対比して用いられます。 バイナリデータは Python で bytes 型で表現されます。struct モジュールを使うと細かくフォーマットを指定してバイナリデータを作成したり、バイナリデータから数値等に変換を行うことができます。バイナリデータでは、センサーや制御機器への入出力で多く用いられます。Python で IoT機器を制御したり、 Raspberry pi のようなシングルボードコンピュータを利用する場合などで多く用いられます。   structモジュールの使い方 struct は Python の標準ライブラリです。importすることで使用できます。 from struct import * 主な使い方は、値のパックとアンパックです。パックとは、数値型などの値をフォーマットを指定して bytes 型に変換することです。値はカンマで区切って複数指定できます。 pack(フォーマット, 値) アンパックは、逆に bytes 型のバイナリデータをもとの型の値に変換します。 unpack(フォーマット, バイナリデータ) フォーマットには以下のような値を指定できます。 フォーマット C言語の型 Pythonの型 サイズ b  signed char 整数  1 h  short 整数  2 l long 整数  4 その他のメソッドやフォーマットについては、公式ドキュメントを参考にしてください。 https://docs.python.jp/3/library/struct.html   [PR] Pythonで挫折しない学習方法を動画で公開中実際に書いてみよう 今回のサンプルプログラムでは、struct モジュールの使い方を確認します。プログラムは Python インタプリタで入力していきます。まずは必要なライブラリをインポートします。 from struct import * はじめに、数値をパックして data という変数に代入します。フォーマットの「h」はサイズを2バイトで、「l」は4バイトで値を表現することを表します。 data = pack('hhl', 1, 2, 3) type メソッドで data変数の型を確認しましょう。 type(data) 実行結果は以下のようになります。data変数は bytes 型であることが確認できます。 bytes data変数の中身を見てみましょう。 data   実行結果は以下のようになります。 b'\x01\x00\x02\x00\x00\x00\x00\x00\x03\x00\x00\x00\x00\x00\x00\x00' 次に data変数をアンパックしてみましょう。 unpack('hhl', data) 実行結果は以下のようになります。tuple型の要素で値が返却されます。 (1, 2, 3)   この記事を監修してくれた方 太田和樹（おおたかずき） ITベンチャー企業のPM兼エンジニア 普段は主に、Web系アプリケーション開発のプロジェクトマネージャーとプログラミング講師を行っている。守備範囲はフロントエンド、モバイル、サーバサイド、データサイエンティストと幅広い。その幅広い知見を生かして、複数の領域を組み合わせた新しい提案をするのが得意。 開発実績：画像認識技術を活用した駐車場混雑状況把握（実証実験）、音声認識を活用したヘルプデスク支援システム、Pepperを遠隔操作するアプリの開発、大規模基幹系システムの開発・導入マネジメント 地方在住。仕事のほとんどをリモートオフィスで行う。通勤で消耗する代わりに趣味のDIYや家庭菜園、家族との時間を楽しんでいる。   大石ゆかり 内容分かりやすくて良かったです！ 田島悠介 ゆかりちゃんも分からないことがあったら質問してね！ 大石ゆかり 分かりました。ありがとうございます！ オンラインのプログラミングスクールTechAcademyではPythonを使って機械学習の基礎を学ぶPythonオンライン講座を開催しています。 初心者向けの書籍を使って人工知能（AI）や機械学習について学ぶことができます。 現役エンジニアがパーソナルメンターとして受講生に1人ずつつき、マンツーマンのメンタリングで学習をサポートし、最短4週間で習得することが可能です。 また、現役エンジニアから学べる無料のプログラミング体験会も実施しているので、ぜひ参加してみてください。
Python

WEEKLY RANKING

TechAcademy（テックアカデミー） プログラミングPythonPythonのRequestsモジュールの使い方【初心者向け】