PythonでWeb上のHTMLを取得する方法を現役エンジニアが解説【初心者向け】

初心者向けにPythonでWeb上のHTMLを取得する方法について現役エンジニアが解説しています。Web上のHTMLを取得して解析することをスクレイピングと呼びます。PythonではRequestsとBeautiful Soupというライブラリの組み合わせがよく利用されています。

TechAcademyマガジンはオンラインのプログラミングスクールTechAcademy [テックアカデミー]が運営する教育×テクノロジーのWebメディアです。初心者でもすぐ勉強できる記事が2,000以上あります。

PythonでWeb上のHTMLを取得する方法について解説します。

Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をまずご覧ください。

 

なお本記事は、TechAcademyのPythonオンライン講座の内容をもとにしています。

 

田島悠介

今回は、Pythonに関する内容だね!

大石ゆかり

どういう内容でしょうか?

田島悠介

PythonでWeb上のHTMLを取得する方法について詳しく説明していくね!

大石ゆかり

お願いします!

 

Web上のHTMLを取得する方法

Web上のHTMLを取得して解析することをスクレイピングと呼びます。Pythonでスクレイピングを行うにはRequestsとBeautiful Soupというライブラリの組み合わせがよく利用されています。

まずは利用する前にインストールを行っておきましょう。パソコンがMacならターミナル、Windowsならコマンドプロンプトから以下のコマンドでインストールします。

 

pip install requests
pip install beautifulsoup4

 
Web上のHTMLを取得するのがRequestsです。Pythonには標準でurllibというライブラリが存在しますが、Requestsはそれよりもシンプルに、人が見て分かりやすくプログラムを記述できます。

Requestsの利用方法は以下の通りです。
 

requests.request(method, url, オプション)

 

オプションの指定方法など、詳しくは公式ドキュメントなどを参考にしてください。

公式サイト

日本語ドキュメント

 

取得したHTMLを解析する方法

取得したHTMLを解析するのがBeautiful Soupです。
HTMLを解析するソフトウェアをパーサーと呼びます。

Beautiful Soupの利用方法は以下のとおりです。
 

soup = BeautifulSoup(テキスト, 'html.parser')

 

HTMLを解析した結果がオブジェクトsoupに格納されます。詳しくは公式ドキュメントなどを参考にしてください。

公式サイト

 

[PR] Pythonで挫折しない学習方法を動画で公開中

実際に書いてみよう

今回のサンプルプログラムでは、Beautiful Soupの公式サイトから、見出しのタイトルを取得してみます。

 

import requests
from bs4 import BeautifulSoup

# WebサイトのURLを指定
url = "https://www.crummy.com/software/BeautifulSoup/bs4/doc/"

# Requestsを利用してWebページを取得する
r = requests.get(url)

# BeautifulSoupを利用してWebページを解析する
soup = BeautifulSoup(r.text, 'html.parser')

# soup.find_allを利用して、見出しのタイトルを取得する
elems = soup.find_all("a", class_="reference internal")
for e in elems:
  print(e.getText())

 

実行結果は以下のようになります。

実際のスクレイピングでは、ここからさらにHTMLの要素や属性を確認しながら抽出条件を絞り込んでいきます。
 

Porting code to BS4
what the diagnose() function says
Differences
between parsers
Parsing XML
Navigating the tree
Searching the tree
...(略)

 

監修してくれたメンター

太田和樹(おおたかずき)

ITベンチャー企業のPM兼エンジニア

普段は主に、Web系アプリケーション開発のプロジェクトマネージャーとプログラミング講師を行っている。守備範囲はフロントエンド、モバイル、サーバサイド、データサイエンティストと幅広い。その幅広い知見を生かして、複数の領域を組み合わせた新しい提案をするのが得意。

開発実績:画像認識技術を活用した駐車場混雑状況把握(実証実験)、音声認識を活用したヘルプデスク支援システム、Pepperを遠隔操作するアプリの開発、大規模基幹系システムの開発・導入マネジメント。

地方在住。仕事のほとんどをリモートオフィスで行う。通勤で消耗する代わりに趣味のDIYや家庭菜園、家族との時間を楽しんでいる。

 

大石ゆかり

内容分かりやすくて良かったです!

田島悠介

ゆかりちゃんも分からないことがあったら質問してね!

大石ゆかり

分かりました。ありがとうございます!

オンラインのプログラミングスクールTechAcademyではPythonを使って機械学習の基礎を学ぶPythonオンライン講座を開催しています。

初心者向けの書籍を使って人工知能(AI)や機械学習について学ぶことができます。

現役エンジニアがパーソナルメンターとして受講生に1人ずつつき、マンツーマンのメンタリングで学習をサポートし、最短4週間で習得することが可能です。

また、現役エンジニアから学べる無料のプログラミング体験会も実施しているので、ぜひ参加してみてください。