PythonのScrapy入門を現役エンジニアが解説【初心者向け】

初心者向けにPythonのScrapy入門について現役エンジニアが解説しています。ScrapyはPython製のWebクロールフレームワークです。クローリングはWebサイトを巡回して情報を集めることです。HTMLの解析も出来ますので、インストールして使ってみましょう。

テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元:GMOリサーチ株式会社 調査期間:2021年8月12日~8月16日  調査対象:2020年8月以降にプログラミングスクールを受講した18~80歳の男女1,000名  調査手法:インターネット調査

Pythonで画像ファイルをPDF化する方法について解説します。

そもそもPythonについてよく分からないという方は、Pythonとは何なのか解説した記事を読むとさらに理解が深まります。

 

なお本記事は、TechAcademyのオンラインブートキャンプPython講座の内容をもとに紹介しています。

 

田島悠介

今回は、Pythonに関する内容だね!

大石ゆかり

どういう内容でしょうか?

田島悠介

PythonのScrapy入門について詳しく説明していくね!

大石ゆかり

お願いします!

 

クローリング(クロール)とは

ITでクロール(crawl)、クローリング(crawling)とは、インターネット上の複数のWebサイトを巡回し、情報を収集することです。元の英単語としては「はい回る、巡回する」といった意味です。

クローラとは

クローラ(crawler)とは、上記のクロールを実装したソフトウェアのことです。手動または自動でクローラを実行し、Webサイトの情報を収集活用します。

例えば検索エンジンはクローラを定期的に実行しており、キーワードや相互リンクなどを分析した後にデータベースに保存し、検索に備えています。

[PR] Pythonで挫折しない学習方法を動画で公開中

WebクロールフレームワークのScrapyとは

ScrapyはPython製のクロールフレームワークです。オープンソースのソフトウェアで、簡易、高速でありながら、拡張性の高いことを特徴としています。

HTMLの解析には、BeautifulSoupやlxmlといった外部ライブラリを用いることもできます。

Scrapyの特徴、使い方

インストール

以下のようにpipコマンドでインストールします。

pip install scrapy

Pythonインタプリタで以下のように実行します。特にエラーがなければ、インストールには成功しています。

import scrapy

 

サンプルコード

以下内容のmyspider.pyファイルを作成しました。

import scrapy

class BlogSpider(scrapy.Spider):
    name = 'blogspider'
    start_urls = ['https://blog.scrapinghub.com']

    def parse(self, response):
        for title in response.css('.post-header>h2'):
            yield {'title': title.css('a ::text').get()}

        for next_page in response.css('a.next-posts-link'):
            yield response.follow(next_page, self.parse)

 

実行方法

scrapy runspider myspider.py

実行結果

2019-09-27 06:24:42 [scrapy.core.engine] DEBUG: Crawled (200)  (referer: None)
2019-09-27 06:24:42 [scrapy.core.scraper] DEBUG: Scraped from 
{'title': 'News Data Extraction at Scale with AI powered AutoExtract'}
2019-09-27 06:24:42 [scrapy.core.scraper] DEBUG: Scraped from 
{'title': 'Gain a Competitive Edge with Product Data'}
(...後略...)

 

解説

1行目でscrapyモジュールをインポートしました。BlogSpiderクラスを定義し、Spiderクラスを継承しました。同クラス内ではparseメソッドをオーバーライドしました。

h2タグを目安にタイトルを抽出しました。また、aタグを目安に他ページへのリンクを取得し、再帰的にparseを呼び出しました。実行結果の通り、Webサイトからタイトルを抽出できました。

コラム

実は私も!?独学で損する人の特徴

「スクールは高いから独学で成功する」という気持ちの方は多いと思います。
もちろんその方が金額は低く抑えられるでしょう。
ただ 独学には向き不向きがあり、実はスクールが向いている人も大勢います。

そんな方のために参考として、 テックアカデミー卒業生がスクールを選んだ理由 をご紹介します。

  • ・困って挫折しそうなときに、質問や相談できる相手がいる環境で学んでいきたいなと思った
  • ・わかった気になっているだけだったので、自分を追い込む環境に置いた方がいいと感じた
  • ・スクールのカリキュラムで市場に求められるスキルを学ぶべきと思った

少しでも当てはまる部分があれば、 スクールが向いているかもしれません。
お試しのつもりで、まずは一度 無料体験 に参加してみませんか?

初心者でも最短1時間で学習が体験できるカリキュラム、現役エンジニアに何でも相談できるカウンセリング、無制限のチャット質問サービスすべて無料で体験 できます。
無理な勧誘は一切ない ので、お気軽にご参加ください。

今なら体験者限定の割引特典付き! 無料体験はこちら

監修してくれたメンター

橋本紘希

システムインテグレータ企業勤務のシステムエンジニア。

開発実績: Javaプログラムを用いた業務用Webアプリケーションや、基幹システム用バッチアプリケーションなどの設計構築試験。

 

大石ゆかり

内容分かりやすくて良かったです!

田島悠介

ゆかりちゃんも分からないことがあったら質問してね!

大石ゆかり

分かりました。ありがとうございます!

 

TechAcademyでは、初心者でもPythonを使った人工知能(AI)や機械学習の基礎を習得できるオンラインブートキャンプPython講座を開催しています。

挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。

独学に限界を感じたら…テックアカデミーに相談しよう

プログラミングを独学していて、このように感じた経験はないでしょうか?

  • ・調べてもほしい情報が見つからない
  • ・独学のスキルが実際の業務で通用するのか不安
  • ・目標への学習プランがわからず、迷子になりそう

テックアカデミーでは、このような 独学に不安を抱えている方へ、現役エンジニア講師とマンツーマンで相談できる機会を無料で提供 しています。
30分間、オンラインでどんなことでも質問し放題です。

「受けてよかった」と感じていただけるよう 厳しい試験を通過した講師 があなたの相談に真摯に向き合います。

「ただ気になることを相談したい」
「漠然としているがプロの話を聞いてみたい」

こんな気持ちでも大丈夫です。

無理な勧誘は一切ありません ので、まずはお気軽にご参加ください。
※体験用のカリキュラムも無料で配布いたします。(1週間限定)

今なら参加者限定の割引特典付き! 無料で予約する