moxt

Just another Blog site

RubyとSeleniumを使って自動で画像をダウンロードする

      2015/07/03

はじめに

ディープラーニング旋風に触発されて機械学習に興味をもった。
前々から機械学習やってみたいと思っていたのだが、SURF、HOGといった特徴量の抽出のあたりが職人芸らしい、という噂を聞いて『そんな根性ないわ。。』と諦めていたのだが、ディープラーニングは特徴量の抽出すら機械がやってくれると聞いて、『あ、これはやろう』となったのだ。

機械学習の中でも、自分は画像の識別に興味を持っている。

画像識別をやるなら既存のデータセットを使ってでも十分可能。
なのだが、椅子とか戦闘機を分類することにはあまり興味が湧かない。
となると自らデータセットを作る必要がある。
1枚1枚丁寧に画像を集めるのも良いが、たぶん終わる頃には死んでいるだろう。
じゃあスクリプト使って画像集めをやろう、そう思ったわけだ。

どこで画像を集めるか

bing.comで集めることにした。
Googleより品揃え豊富な印象があったので。
他に良さそうなサイトがあれば知りたいなあ。

どうやって集めるか

タイトル通りSeleniumを使ってやることにした。
Rubyのバインディングを使う。
bingはクローリング対策が結構されている感じで、jsを実行できるクローラーが必要だった。
普通のクローラーだとjsは実行できない(と、思ってる)はず。
なので、nodejsのnightmarejsを利用してヘッドレス系クローラー軽く実装してみたが、htmlが複雑なclass構造でnightmarejsでサクッとやれる感じがしなかった(技量不足)。

と、いうわけで。
より人間の動きっぽさを実装しやすいと、自分の中で有名なSelenuimを使ってブラウザを自動操作しつつ画像をダウンロードしてみた。

コード

こんな感じ。

いちいちブラウザを立ち上げて処理をこなすようになっているため、よくあるクローラーと比較すると大分遅い。

機能ってほどでもないが、ちょい使えるようにした。

  • クエリを引数に与えられるようにした
  • ファイル名を自動でつけるようにした
  • スクロールさせて取得する画像の量を増やした(scrollを呼べば呼ぶほど沢山の画像がダウンロードできる)

で、こんな感じで呼び出せばOK

アレ

banされない程度にやろう。

 - プログラミング

  • このエントリーをはてなブックマークに追加
  • follow us in feedly

  関連記事

no image
RDSの特定のデータベースをダンプする

Publicly Accessibleがyesならどこからでも下記が実行可能。 …

no image
意識低いRuby on Rails再入門1

整理がてらメモ。 Contents1 …

no image
意識低いRuby on Rails再入門4

下記の内容を読んでテスト系の処理をすっ飛ばしたメモ。 http://railstutorial.jp/chapters/sign-in-sign-out?version=4.0#top …

no image
NginxとPHP-FPMを使っていたらcurl_init()が無いとエラーが出た

参考リンク 解決策 …

no image
Androidアプリを作るために最低限必要な知識と未知の部分を列挙

作りたいアプリによって必要な知識は変わるかもしれないが。。 個人的過ぎて役に立たないが、整理がてら羅列してみる。 …

images
scrapy実行時のエラー対処

Macで発生した。 scrapyを実行したら下記のようなエラーを吐いた。 …

large_v
Dockerでよく使うコマンド

随時追加 Contents1 …

no image
RubyMine(OSX)でGit操作するときのコマンド集

GITを操作系のポップアップを表示したい

300px-Ruby_logo
nokogiriでスクレイピングするときによく忘れるヤツ集

書くことで記憶を定着させる施術。 class,id以外の属性を指定してタグを探したい …

logo_og
ReactNativeでGiphyのデータを表示する

まずは下記をサクッとパクってみる。 当方、比較的AndroiderなのでAndroidで。 …