Satoryu's Diary
Rubyが好きなプログラマーの日記。日々の生活、開発に関するメモとか考えとか。
2013年09月05日 [長年日記]
_ Capybaraで始めるウェブスクレイピング
Capybaraは、Javascriptを使用した画面を持つRailsの受け入れテストを実装するために使われることが殆どだと思います。 でも、Railsじゃなくても、ましてやRackじゃなくても、そして、RubyのアプリケーションじゃなくてもCapybaraさんは動いてくれるんです。 ということで、それを利用して、ウェブスクレイピングをすると色々捗るのでオススメです！ *1
設定ははとっても簡単、スクレイピングするRubyのコードに、
Capybara.run_server = false
とすればRackサーバーではなく、URLを指定すれば好きなところにCapybaraさんが走り回ってくれるようになります。 あとは、
require 'capybara/dsl'
include Capybara::DSL
などしておくとスッキリとコードが書けますよ。
サンプルとして、先日リリースしたrakuten_web_serviceを利用して、商品ランキングの上位30件の画面の縦の長さを計るスクリプトを書きましたので、ご覧ください。
真面目な使い方としては、リリースした後に定期的にアプリケーションの動作を確認するボットを作ったり、普段の業務ツールの自動化などでしょうか。
*1 ウェブスクレイピングについては[こちら](http://ja.wikipedia.org/wiki/%E3%82%A6%E3%82%A7%E3%83%96%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0)
[ツッコミを入れる]
最近の投稿
- 2024年11月04日
- 1. tDiaryをアップデートした
- 2023年01月22日
- 1. ジムに通い始めた
- 2022年12月11日
- 1. 歩いたり走ったりが楽しくなってきた
- 2022年11月23日
- 1. Heroku に課金した。
- 2022年05月24日
- 1. 献血に行ってきた
- 2021年12月01日
- 1. tDiaryを5.2.0にバージョンアップした
- 2021年06月24日
- 1. 飼育しているクロヤマアリの幼虫が気づくと裸蛹になっていた。
- 2021年06月02日
- 1. tDiary 5.1.6にアップデート
- 2021年05月25日
- 1. # 肩の治療
- 2021年05月23日
- 2021年04月19日
- 1. tDiary 5.1.5にアップデートした
- 2020年01月01日
- 1. tDiary を5.1.0にアップデートした
- 2019年04月07日
- 1. tDiary 5.0.13 にアップデートした。
- 2018年12月31日
- 1. 2018年の振り返り
- 2018年12月30日
- 1. tDiaryを5.0.11に、ruby 2.6.0 にアップデートした。 #tdiary #ruby
- 2018年12月25日
- 1. tdiary-redis-cache にconnection_pool を適用してみる。 #tdiary
- 2018年11月26日
- 1. リーンスタートアップを読んだ。
- 2018年10月13日
- 1. Rakuten Hackathon 2018 Pre event に行ってきた。 #rakutentech #rakuten_tech
- 2018年10月12日
- 1. 「きみの友だち」を読んだ。
- 2018年09月11日
- 1. 「マイクロソフト伝説マネジャーの 世界No.1プレゼン術」を読んだ。
- 2018年09月01日
- 1. 8月が終わった。
- 2018年08月19日
- 1. 『組織にいながら、自由に働く。 仕事の不安が「夢中」に変わる「加減乗除（+-×÷）の法則」』を読んだ。
- 2018年08月16日
- 1. 「Adaptive Code 〜 C#実践開発手法」を読んだ。
- 2018年08月03日
- 1. デスクの上の新旧交代
- 2018年07月29日
- 1. 37歳になってた。
- 2018年03月30日
- 1. tDiary 5.0.8 にアップデートした。
- 2018年03月02日
- 1. カイゼン・ジャーニーを読んだ。
- 2018年02月16日
- 1. 実況パワフルモブプログラミング 感想戦 #devsumi
- 2018年02月09日
- 2018年02月05日
- 1. エンジニアのためのデザイン思考入門を読んだ。
翻訳しました（ちょっとだけ）
