Pythonでスクレイピングを行う方法【初心者向け】

初心者向けにPythonでスクレイピングを行う方法について解説しています。スクレイピングを行うことによりWebサイト上から情報を抽出することができます。ここではRequestsとBeautiful Soupを使った方法を紹介します。実際の手順を見ながら覚えていきましょう。

TechAcademyマガジンはオンラインのプログラミングスクールTechAcademy [テックアカデミー]が運営する教育×テクノロジーのWebメディアです。初心者でもすぐ勉強できる記事が2,000以上あります。

Pythonでスクレイピングを行う方法について解説します。

Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をまずご覧ください。

 

なお本記事は、TechAcademyのPythonオンライン講座の内容をもとにしています。

 

田島悠介

今回は、Pythonに関する内容だね!

大石ゆかり

どういう内容でしょうか?

田島悠介

スクレイピングを行う方法について詳しく説明していくね!

大石ゆかり

お願いします!

 

スクレイピングとは

スクレイピングとは、Webサイトから情報を抽出するプログラムのことです。例えばGoogleニュース、これはいろいろなニュースのWebサイトからニュース情報を抽出し、収集した結果を表示しています。情報の抽出と収集をプログラムに行わせることで、人が行うよりも早く確実に求める情報を得ることが出来ます。

Python でスクレイピングを行う場合、主な方法は2つあります。

Requests と Beautiful Soup を利用する方法

以前から広く利用されている方法です。

Requests がWebサイトからWebページを取得するライブラリ、 Beautiful Soup がWebページを解析して情報を抽出するライブラリです。当記事でもこのライブラリを使った例をご紹介します。

 

Selenium WebDriverを利用する方法

JavaScriptで画面遷移するようなWebサイトの場合、RequestsではWebページの取得が困難です。そのような場合は、プログラムからWebブラウザを動かすことで、Webページを取得します。

一般的なのが Selenium WebDriver を利用する方法です。Selenium WebDriver については以下の記事も参考にしてくださいね。

Selenium WebDriverでPythonのテストを行う方法

 

スクレイピングを行なう書き方

今回は、Requests と Beautiful Soup を利用する方法を紹介します。

まずはそれぞれのライブラリをインストールしましょう。パソコンが Macならターミナル、Windowsならコマンドプロンプトから以下のコマンドでインストールします。なお、事前に Python のインストールが必要です。

pip install requests
pip install beautifulsoup4

詳しくは公式サイトを参考にしてください。

http://requests-docs-ja.readthedocs.io/en/latest/

https://www.crummy.com/software/BeautifulSoup/bs4/doc/

 

[PR] Pythonで挫折しない学習方法を動画で公開中

実際にスクレイピングを行ってみよう

今回のサンプルプログラムでは、Googleニュースのサイトから、ヘッドラインのタイトルの一覧を取得しています。

import requests
from bs4 import BeautifulSoup

# WebサイトのURLを指定
url = "https://news.google.com/?hl=ja&gl=JP&ceid=JP:ja"

# Requestsを利用してWebページを取得する
r = requests.get(url)

# BeautifulSoupを利用してWebページを解析する
soup = BeautifulSoup(r.text, 'html.parser')

# soup.find_allを利用して、ヘッドラインのタイトルを取得する
elems = soup.find_all("a", class_="ipQwMb Q7tWef")
for e in elems:
 print(e.getText())

実行結果は以下のようになります(その時のニュースによって異なります)。

台風15号が発生。お盆休みへの影響は?(杉江勇次) - Yahoo!ニュース
台風15号「リーピ」が発生しました(日直予報士 2018年08月12日) - 日本気象協会 tenki.jp
【台風15号】小笠原近海を北西へ進行 14日には熱帯低気圧へ 沖縄地方に接近するかは現時点で不明
台風15号 小笠原諸島に接近後、衰弱しながら北上か
台風15号が発生
“追悼集会”色濃く 知事選見据え与野党思惑 辺野古土砂投入阻止県民大会
沖縄県民大会:辺野古移設断念求め7万人 翁長知事を追悼

 

この記事を監修してくれた方

太田和樹(おおたかずき)
ITベンチャー企業のPM兼エンジニア

普段は主に、Web系アプリケーション開発のプロジェクトマネージャーとプログラミング講師を行っている。守備範囲はフロントエンド、モバイル、サーバサイド、データサイエンティストと幅広い。その幅広い知見を生かして、複数の領域を組み合わせた新しい提案をするのが得意。

開発実績:画像認識技術を活用した駐車場混雑状況把握(実証実験)、音声認識を活用したヘルプデスク支援システム、Pepperを遠隔操作するアプリの開発、大規模基幹系システムの開発・導入マネジメント

地方在住。仕事のほとんどをリモートオフィスで行う。通勤で消耗する代わりに趣味のDIYや家庭菜園、家族との時間を楽しんでいる。

 

大石ゆかり

内容分かりやすくて良かったです!

田島悠介

ゆかりちゃんも分からないことがあったら質問してね!

大石ゆかり

分かりました。ありがとうございます!

オンラインのプログラミングスクールTechAcademyではPythonを使って機械学習の基礎を学ぶPythonオンライン講座を開催しています。

初心者向けの書籍を使って人工知能(AI)や機械学習について学ぶことができます。

現役エンジニアがパーソナルメンターとして受講生に1人ずつつき、マンツーマンのメンタリングで学習をサポートし、最短4週間で習得することが可能です。

また、現役エンジニアから学べる無料のプログラミング体験会も実施しているので、ぜひ参加してみてください。