PythonによるWebスクレイピングの方法を現役エンジニアが解説【初心者向け】

PythonによるWebスクレイピングの方法ついて解説します。WebスクレイピングはWebページのデータを取得できます。取得したデータの特定部分を抜き取ったり、自動でサイトにログインすることも可能です。

TechAcademyマガジンはオンラインのプログラミングスクールTechAcademy [テックアカデミー]が運営する教育×テクノロジーのWebメディアです。初心者でもすぐ勉強できる記事が2,000以上あります。

PythonによるWebスクレイピングの方法ついて解説します。

Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をまずご覧ください。

 

なお本記事は、TechAcademyのPythonオンライン講座の内容をもとにしています。

 

田島悠介

今回は、PythonでWebスクレイピングする方法についての内容だね!

大石ゆかり

Webスクレイピングとは何でしょうか?

田島悠介

Webスクレイピングでできること、その方法を解説していくね!

大石ゆかり

お願いします!

 

Webスクレイピングとは

Webスクレイピングとは、Webページの情報をプログラムを使って取得できる技術です。他のプログラミング言語でもWebスクレイピングはできますが、今回はPythonを使ってWebスクレイピングする方法を紹介します。

 

Webスクレイピングで何ができる?

では具体的にWebスクレイピングでは何ができるのでしょうか?

たとえば、以下のようなことができます。

  • あるサイトの特定部分のテキストを定期的に取得
  • ネットオークションの価格を自動で取得
  • 自動でサイトにログインして、ほしい情報を取得

Webスクレイピングは、業務の自動化などで活躍します。

[PR] Pythonで挫折しない学習方法を動画で公開中

Webスクレイピングのためのライブラリ・フレームワーク

PythonでWebスクレイピングをするための代表絵的なライブラリやフレームワークをいくつか紹介します。

urllib.request

Pythonの標準ライブラリです。URLを指定し、Webサイトの情報を取得できます。

Requests

urllib.requestに同じく、Webサイトの情報を取得できます。Requestsは人間のためのHTTPとしても親しまれていて、扱いやすいのが特徴です。

beautifulsoup4

beautifulsoup4は、サードパーティ製のhtmlパーサライブラリです。取得したWebサイトから特定のテキスト情報などを抜き出せます。

Webスクレイピングといえばbeautifulsoup4、と覚えてもよいほど有名です。

Selenium

自動でブラウザを操作する為のライブラリです。スクレイピングにも活用することできます。

HTMLの要素にアクセスして情報を取得できるのはもちろん、クリック操作などの制御も可能です。

Scrapy

Pythonにおけるスクレイピングのためフレームワークといえば、Scrapyです。

Scrapyは、スクレイピング(Webサイトからデータを取得する)だけではなく、クローリング(プログラムがインターネット上のリンクを辿ってWebサイトを巡回し、Webページ上の情報を複製・保存すること)もできます。少し難易度が高くなりますが、余裕のある方は使ってみてください。

 

実際に書いてみよう

いくつかライブラリ・フレームワークを紹介しましたが、今回は「beautifulsoup4」を使い、実際にWebスクレイピングをします。

NewsPicksのトップページに表示されている記事のタイトルを自動で取得し、出力するプログラムを書いていきます。

サンプルコード(mymod.py)

import requests
from bs4 import BeautifulSoup

result = requests.get('https://newspicks.com/') 
data_1 = BeautifulSoup(r.text, 'html.parser')
data_2 = data.find_all("div", class_="title _ellipsis")

for item in data_2:
 print(item.getText())

 

実行結果

ボーイング、737減産へ 2割、墜落事故の影響拡大
アップル米有料音楽で逆転 スポティファイ上回る
【必見】シェアエコのいまを押さえる3つのポイント
米大統領、金融緩和を要求 FRBに圧力強める
【独自調べ】「令和」改元は、経済にどんな影響を与えるか?
【猪瀬直樹】作家の道標は、三島由紀夫とカポーティ
ボーイング、737減産へ 2割、墜落事故の影響拡大
アップル米有料音楽で逆転 スポティファイ上回る
【必見】シェアエコのいまを押さえる3つのポイント
米大統領、金融緩和を要求 FRBに圧力強める
東大生が教える「文章が苦手」が一瞬で治るコツ
Amazon印のワイヤレスイヤホンが開発中? AirPodsのライバル候補か
「四角いクルマ」は、なぜ日本で大人気なのか

解説

  1. requests.get()でNewsPicksトップページのHTMLを取得
  2. find_allでclassを指定し、タイトルを取得
  3. 配列に格納された値をfor文とprint文で出力

 

大石ゆかり

普段みているようなサイトでも簡単にスクレイピングできるんですね!

田島悠介

余裕ができたらログインなども試してみてね!

大石ゆかり

分かりました!ありがとうございます!

オンラインのプログラミングスクールTechAcademyではPythonを使って機械学習の基礎を学ぶPythonオンライン講座を開催しています。

初心者向けの書籍を使って人工知能(AI)や機械学習について学ぶことができます。

現役エンジニアがパーソナルメンターとして受講生に1人ずつつき、マンツーマンのメンタリングで学習をサポートし、最短4週間で習得することが可能です。

また、現役エンジニアから学べる無料のプログラミング体験会も実施しているので、ぜひ参加してみてください。