RubyでMechanizeを利用してWebスクレイピングする方法を現役エンジニアが解説【初心者向け】

初心者向けにRubyでMechanizeを利用してWebスクレイピングする方法について解説しています。スクレイピングとはWeb上から情報を取得することをいいます。ここではスクレイピングを行うライブラリMechanizeのインストール方法と基本の使い方、実行結果を見ていきましょう。

TechAcademyマガジンはオンラインのプログラミングスクールTechAcademy [テックアカデミー]が運営する教育×テクノロジーのWebメディアです。初心者でもすぐ勉強できる記事が2,000以上あります。

RubyでMechanizeを利用してWebスクレイピングする方法について解説します。

Rubyについてそもそもよく分からないという方は、Rubyとは何なのか解説した記事をまずご覧ください。

 

なお本記事は、TechAcademyのWebアプリケーションオンラインブートキャンプの内容をもとに紹介しています。

 

田島悠介

今回は、Rubyに関する内容だね!

大石ゆかり

どういう内容でしょうか?

田島悠介

Mechanizeを利用してWebスクレイピングする方法について詳しく説明していくね!

大石ゆかり

お願いします!

 

Mechanizeとは

MechanaizeとはスクレイピングするためのRubyのライブラリーです。他にnokogiriというスクレイピングするライブラリーもあります。

ここにいうスクレイピングとはweb情報を取得したり、加工したりして使用することです。今回はこのMechanaizeというライブラリーを使用してスクレイピングする方法を紹介していきます。

 

Mechanizeのインストール

まず、Mechanizeのライブラリーを使うために、gem install mechanize でインストールをしましょう。

Gemファイルに書いてインストールする場合はGemファイルに、source “https://rubygems.org” gem “mechanize” を記載して、bundle install を実行することによってインストールできます。

 

[PR] Rubyのプログラミングで挫折しない学習方法を動画で公開中

Mechanizeを利用してWebスクレイピングする方法

では、Mechanize を使用して実際にスクレイピングしてみましょう。ファイルに以下のように書いてみてください。

 

require 'mechanize'

agent = Mechanize.new
page = agent.get('https://techacademy.jp/')
p page.links

 

ライブラリーとして使いますので、require ‘machanize’ を書きましょう。このファイルを実行してみます。linksはページ全体のリンクのリストが全部取得できます。

 

#=>

................................

[#<Mechanize::Page::Link "TechAcademy" "/">

, #<Mechanize::Page::Link "コース" "#">

, #<Mechanize::Page::Link "プログラミング" "/programming">

, #<Mechanize::Page::Link "Webアプリケーションコース" "/rails-bootcamp">

, #<Mechanize::Page::Link "PHP/Laravelコース" "/php-bootcamp">

, #<Mechanize::Page::Link "Javaコース" "/java-bootcamp">

, #<Mechanize::Page::Link "フロントエンドコース" "/frontend-bootcamp">

..................................

 

以上のようにページ全体のリンクの情報が取得できていますね。

今回はページ内のリンク情報を取得する方法で紹介しましたが、他にもいろいろな情報を取得することもできますので、調べてみると良いでしょう。

 

筆者プロフィール

町田 耕

学生時代は会計学専攻。塾講師勤務を経て、企業のCFOとして会社経営に携わる。

会社経営から一線を退いた後、インフラエンジニアの妻の勧めでプログラミングを

独学で始め、プログラミングセミナーなど転々としながら、開発案件に携わるようになる。

現在、フリーランスとして活動しながらテックアカデミーのメンターも勤めている。

大石ゆかり

内容分かりやすくて良かったです!

田島悠介

ゆかりちゃんも分からないことがあったら質問してね!

大石ゆかり

分かりました。ありがとうございます!

TechAcademyでは初心者でも最短4週間でエンジニアになれるRuby on Railsオンラインブートキャンプを開催しています。

現役エンジニアがパーソナルメンターとして受講生に1人ずつつき、マンツーマンのメンタリングで学習をサポートし、最短4週間でオリジナルWebサービスを開発することが可能です。

また、現役エンジニアから学べる無料のプログラミング体験会も実施しているので、ぜひ参加してみてください。