moxt

Just another Blog site

RubyとSeleniumを使って自動で画像をダウンロードする

      2015/07/03

はじめに

ディープラーニング旋風に触発されて機械学習に興味をもった。
前々から機械学習やってみたいと思っていたのだが、SURF、HOGといった特徴量の抽出のあたりが職人芸らしい、という噂を聞いて『そんな根性ないわ。。』と諦めていたのだが、ディープラーニングは特徴量の抽出すら機械がやってくれると聞いて、『あ、これはやろう』となったのだ。

機械学習の中でも、自分は画像の識別に興味を持っている。

画像識別をやるなら既存のデータセットを使ってでも十分可能。
なのだが、椅子とか戦闘機を分類することにはあまり興味が湧かない。
となると自らデータセットを作る必要がある。
1枚1枚丁寧に画像を集めるのも良いが、たぶん終わる頃には死んでいるだろう。
じゃあスクリプト使って画像集めをやろう、そう思ったわけだ。

どこで画像を集めるか

bing.comで集めることにした。
Googleより品揃え豊富な印象があったので。
他に良さそうなサイトがあれば知りたいなあ。

どうやって集めるか

タイトル通りSeleniumを使ってやることにした。
Rubyのバインディングを使う。
bingはクローリング対策が結構されている感じで、jsを実行できるクローラーが必要だった。
普通のクローラーだとjsは実行できない(と、思ってる)はず。
なので、nodejsのnightmarejsを利用してヘッドレス系クローラー軽く実装してみたが、htmlが複雑なclass構造でnightmarejsでサクッとやれる感じがしなかった(技量不足)。

と、いうわけで。
より人間の動きっぽさを実装しやすいと、自分の中で有名なSelenuimを使ってブラウザを自動操作しつつ画像をダウンロードしてみた。

コード

こんな感じ。

いちいちブラウザを立ち上げて処理をこなすようになっているため、よくあるクローラーと比較すると大分遅い。

機能ってほどでもないが、ちょい使えるようにした。

  • クエリを引数に与えられるようにした
  • ファイル名を自動でつけるようにした
  • スクロールさせて取得する画像の量を増やした(scrollを呼べば呼ぶほど沢山の画像がダウンロードできる)

で、こんな感じで呼び出せばOK

アレ

banされない程度にやろう。

 - プログラミング

  • このエントリーをはてなブックマークに追加
  • follow us in feedly

  関連記事

ReactとFluxとReduxについて順を追って整理する

書き途中 Contents1 …

no image
sudo gem install cocoapods –preしても0.36.0が使えないとき

最新のcocoapodsそのものはインストールされてる。 なので、podコマンドを実行するときに下記のようにバージョンを指定すれば一応使える。 …

no image
RubyMine(OSX)でGit操作するときのコマンド集

GITを操作系のポップアップを表示したい

no image
ファイルとかのパーミッションを再帰的に変更したい

あるディレクトリ以下全ファイルのパーミッションを再帰的に変更 chmod …

no image
意識低いRuby on Rails再入門1

整理がてらメモ。 Contents1 …

no image
Androidアプリを作るために最低限必要な知識と未知の部分を列挙

作りたいアプリによって必要な知識は変わるかもしれないが。。 個人的過ぎて役に立たないが、整理がてら羅列してみる。 …

no image
AndroidのHandlerって何?

Handlerは何?と、Handlerを直視するとHandlerの存在意義というかなんというか文脈を捉えることが難しい。 なので、まずはAndroidがシングルスレッドである、という所からスタートしてHandlerに向かってゆく。 …

no image
『Tutorial & Hackathon #1』をやってみる

https://pydata.tokyo/news/pydata.tokyo-tutorial-hackathon-1 タイタニックの乗客データから生存者の推定モデルを作成してる。 …

no image
YosemiteでRubyMineが起動できない

yosemiteからjavaが1.7系になってる。 一方、rubymineは1.6系を想定している。 …

no image
Macでdocker系のコマンドが使えなくなったら確認すること

OSXではdockerは使えないため、別にVMを立ち上げ、そこでdockerを動かしてる。 macからdockerコマンドを使うためにboot2dockerというコマンドを使う。 …