RubyでMechanizeを利用してWebスクレイピングする方法を現役エンジニアが解説【初心者向け】

初心者向けにRubyでMechanizeを利用してWebスクレイピングする方法について解説しています。スクレイピングとはWeb上から情報を取得することをいいます。ここではスクレイピングを行うライブラリMechanizeのインストール方法と基本の使い方、実行結果を見ていきましょう。

テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元:GMOリサーチ株式会社 調査期間:2021年8月12日~8月16日  調査対象:2020年8月以降にプログラミングスクールを受講した18~80歳の男女1,000名  調査手法:インターネット調査

RubyでMechanizeを利用してWebスクレイピングする方法について解説します。

 
そもそもRubyについてよく分からないという方は、Rubyとは何なのか解説した記事を読むとさらに理解が深まります。

なお本記事は、TechAcademyのオンラインブートキャンプRuby講座の内容をもとに紹介しています。

 

田島悠介

今回は、Rubyに関する内容だね!

大石ゆかり

どういう内容でしょうか?

田島悠介

Mechanizeを利用してWebスクレイピングする方法について詳しく説明していくね!

大石ゆかり

お願いします!

 

Mechanizeとは

MechanaizeとはスクレイピングするためのRubyのライブラリーです。他にnokogiriというスクレイピングするライブラリーもあります。

ここにいうスクレイピングとはweb情報を取得したり、加工したりして使用することです。今回はこのMechanaizeというライブラリーを使用してスクレイピングする方法を紹介していきます。

 

Mechanizeのインストール

まず、Mechanizeのライブラリーを使うために、gem install mechanize でインストールをしましょう。

Gemファイルに書いてインストールする場合はGemファイルに、source “https://rubygems.org” gem “mechanize” を記載して、bundle install を実行することによってインストールできます。

 

[PR] Rubyのプログラミングで挫折しない学習方法を動画で公開中

Mechanizeを利用してWebスクレイピングする方法

では、Mechanize を使用して実際にスクレイピングしてみましょう。ファイルに以下のように書いてみてください。

 

require 'mechanize'

agent = Mechanize.new
page = agent.get('https://techacademy.jp/')
p page.links

 

ライブラリーとして使いますので、require ‘machanize’ を書きましょう。このファイルを実行してみます。linksはページ全体のリンクのリストが全部取得できます。

 

#=>

................................

[#<Mechanize::Page::Link "TechAcademy" "/">

, #<Mechanize::Page::Link "コース" "#">

, #<Mechanize::Page::Link "プログラミング" "/programming">

, #<Mechanize::Page::Link "Webアプリケーションコース" "/rails-bootcamp">

, #<Mechanize::Page::Link "PHP/Laravelコース" "/php-bootcamp">

, #<Mechanize::Page::Link "Javaコース" "/java-bootcamp">

, #<Mechanize::Page::Link "フロントエンドコース" "/frontend-bootcamp">

..................................

 

以上のようにページ全体のリンクの情報が取得できていますね。

今回はページ内のリンク情報を取得する方法で紹介しましたが、他にもいろいろな情報を取得することもできますので、調べてみると良いでしょう。

 

筆者プロフィール

町田 耕

学生時代は会計学専攻。塾講師勤務を経て、企業のCFOとして会社経営に携わる。

会社経営から一線を退いた後、インフラエンジニアの妻の勧めでプログラミングを

独学で始め、プログラミングセミナーなど転々としながら、開発案件に携わるようになる。

現在、フリーランスとして活動しながらテックアカデミーのメンターも勤めている。

大石ゆかり

内容分かりやすくて良かったです!

田島悠介

ゆかりちゃんも分からないことがあったら質問してね!

大石ゆかり

分かりました。ありがとうございます!

 

TechAcademyでは、初心者でもRuby on Railsを使ったプログラミングを習得できるオンラインブートキャンプRuby講座を開催しています。

挫折しない学習方法を知れる説明動画や、現役エンジニアとのビデオ通話とチャットサポート、学習用カリキュラムを体験できる無料体験も実施しているので、ぜひ参加してみてください。

独学に限界を感じたら…テックアカデミーに相談しよう

プログラミングを独学していて、このように感じた経験はないでしょうか?

  • ・調べてもほしい情報が見つからない
  • ・独学のスキルが実際の業務で通用するのか不安
  • ・目標への学習プランがわからず、迷子になりそう

テックアカデミーでは、このような 独学に不安を抱えている方へ、現役エンジニア講師とマンツーマンで相談できる機会を無料で提供 しています。
30分間、オンラインでどんなことでも質問し放題です。

「受けてよかった」と感じていただけるよう 厳しい試験を通過した講師 があなたの相談に真摯に向き合います。

「ただ気になることを相談したい」
「漠然としているがプロの話を聞いてみたい」

こんな気持ちでも大丈夫です。

無理な勧誘は一切ありません ので、まずはお気軽にご参加ください。
※体験用のカリキュラムも無料で配布いたします。(1週間限定)

今なら参加者限定の割引特典付き! 無料で予約する