Pythonでクローリングにより画像収集する方法【初心者向け】

初心者向けにPythonでクローリングにより画像収集する方法について解説しています。クローリングとはWeb上から情報を収集することを言います。スクレイピングフレームワークScrapyを使用した画像収集の方法について学びましょう。

TechAcademyマガジンはオンラインのプログラミングスクールTechAcademy [テックアカデミー]が運営する教育×テクノロジーのWebメディアです。初心者でもすぐ勉強できる記事が2,000以上あります。

Pythonでクローリングにより画像収集する方法について解説します。

Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をまずご覧ください。

 

なお本記事は、TechAcademyのPythonオンライン講座の内容をもとにしています。

 

田島悠介

今回は、Pythonに関する内容だね!

大石ゆかり

どういう内容でしょうか?

田島悠介

クローリングにより画像収集する方法について詳しく説明していくね!

大石ゆかり

お願いします!

 

クローリングとは

クローリングとは、プログラムを使ってインターネット上の情報を収集・保存することです。クローラーというプログラム(ロボットとよく表現します)を使い、ページ間のリンクや検索情報などを基に、効率よく情報を収集します。

特定の条件に該当するテキストや画像をプログラムを使って自動的に収集できるため、Googleなどの検索エンジンをはじめとして多くの場面で利用されています。

クローリングを行うためには、情報を収集するサイト側に負荷をかけないよう注意する必要があります。特定のサイトに大量アクセスした結果、サイトをダウンさせてしまうと罪に問われかねません。クローリングする間隔をあけるなど、十分注意するようにしましょう。

 

Pythonでクローリングにより画像収集する方法

Python でクローリングにより画像収集を行うには様々な方法がありますが、この記事ではスクレイピングフレームワークである Scrapy を使用した方法を紹介します。

まずは、Scrapy をインストールしましょう。パソコンが Macならターミナル、Windowsならコマンドプロンプト(以下、ターミナルと略します)から以下のコマンドでインストールします。なお、事前に Python のインストールが必要です。

pip install scrapy

Scrapy はとても高機能なスクレイピングフレームワークです。Webサイトのスクレイピングだけでなく、Beautiful Soup といった他のライブラリにデータを渡してページの内容を解析したり、多くのことが可能です。詳細は公式サイトを参考にしてください。

https://scrapy.org/

また、Beautiful Soup については以下の記事も参考にしてください。

Pythonでスクレイピングを行う方法

 

[PR] Pythonで挫折しない学習方法を動画で公開中

実際に書いてみよう

最初に scrapy のプロジェクトを作成します。ターミナルから以下のように入力してください。

scrapy startproject mycrawler
cd crawler

次に mycrawler/settings.py ファイルの30行目のコメントを外します。これは、クローリング先のサーバーの負荷を減らすためです。

DOWNLOAD_DELAY = 3

同じくmycrawler/settings.py ファイルに以下を追記します。imagesが画像ファイルの保存先になります。ITEM_PIPELINESを指定することで、以下で記述する myspider.py で収集した画像ファイルのURLが ImagesPipeline という Scrapy の機能に渡され、画像が保存されます。

ITEM_PIPELINES = {'scrapy.contrib.pipeline.images.ImagesPipeline': 1}
IMAGES_STORE = './images'

mycrawler/items.py ファイルを以下のように修正します。image_urlsに画像ファイル名が格納されます。

import scrapy
from scrapy.item import Item, Field

class MycrawlerItem(scrapy.Item):
    image_urls = Field()

mycrawler/spiders フォルダに myspider.py を作成し、以下のように記述します。今回はヤフーニュースから画像を取得しています。

import scrapy
from scrapy.spiders import CrawlSpider, Rule
from mycrawler.items import MycrawlerItem

class MyspiderSpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['news.yahoo.co.jp']
    start_urls = ['https://news.yahoo.co.jp/']

    def parse(self, response):
        item = MycrawlerItem()
        item["image_urls"] = []
        for image_url in response.xpath("//img/@src").extract():
            if "http" not in image_url:
                item["image_urls"].append(response.url.rsplit("/", 1)[0] + "/" + image_url)
            else:
                item["image_urls"].append(image_url)

        return item

実行してみましょう。

scrapy crawl myspider

実行して少し待つと、imagesフォルダに画像が格納されます。

画像が収集できることを確認したら、情報を収集するサイトに負荷をかけないよう、プログラムを終了させましょう。

 

この記事を監修してくれた方

太田和樹(おおたかずき)
ITベンチャー企業のPM兼エンジニア

普段は主に、Web系アプリケーション開発のプロジェクトマネージャーとプログラミング講師を行っている。守備範囲はフロントエンド、モバイル、サーバサイド、データサイエンティストと幅広い。その幅広い知見を生かして、複数の領域を組み合わせた新しい提案をするのが得意。

開発実績:画像認識技術を活用した駐車場混雑状況把握(実証実験)、音声認識を活用したヘルプデスク支援システム、Pepperを遠隔操作するアプリの開発、大規模基幹系システムの開発・導入マネジメント

地方在住。仕事のほとんどをリモートオフィスで行う。通勤で消耗する代わりに趣味のDIYや家庭菜園、家族との時間を楽しんでいる。

 

大石ゆかり

内容分かりやすくて良かったです!

田島悠介

ゆかりちゃんも分からないことがあったら質問してね!

大石ゆかり

分かりました。ありがとうございます!

オンラインのプログラミングスクールTechAcademyではPythonを使って機械学習の基礎を学ぶPythonオンライン講座を開催しています。

初心者向けの書籍を使って人工知能(AI)や機械学習について学ぶことができます。

現役エンジニアがパーソナルメンターとして受講生に1人ずつつき、マンツーマンのメンタリングで学習をサポートし、最短4週間で習得することが可能です。

また、現役エンジニアから学べる無料のプログラミング体験会も実施しているので、ぜひ参加してみてください。