moxt

Just another Blog site

RubyとSeleniumを使って自動で画像をダウンロードする

      2015/07/03

はじめに

ディープラーニング旋風に触発されて機械学習に興味をもった。
前々から機械学習やってみたいと思っていたのだが、SURF、HOGといった特徴量の抽出のあたりが職人芸らしい、という噂を聞いて『そんな根性ないわ。。』と諦めていたのだが、ディープラーニングは特徴量の抽出すら機械がやってくれると聞いて、『あ、これはやろう』となったのだ。

機械学習の中でも、自分は画像の識別に興味を持っている。

画像識別をやるなら既存のデータセットを使ってでも十分可能。
なのだが、椅子とか戦闘機を分類することにはあまり興味が湧かない。
となると自らデータセットを作る必要がある。
1枚1枚丁寧に画像を集めるのも良いが、たぶん終わる頃には死んでいるだろう。
じゃあスクリプト使って画像集めをやろう、そう思ったわけだ。

どこで画像を集めるか

bing.comで集めることにした。
Googleより品揃え豊富な印象があったので。
他に良さそうなサイトがあれば知りたいなあ。

どうやって集めるか

タイトル通りSeleniumを使ってやることにした。
Rubyのバインディングを使う。
bingはクローリング対策が結構されている感じで、jsを実行できるクローラーが必要だった。
普通のクローラーだとjsは実行できない(と、思ってる)はず。
なので、nodejsのnightmarejsを利用してヘッドレス系クローラー軽く実装してみたが、htmlが複雑なclass構造でnightmarejsでサクッとやれる感じがしなかった(技量不足)。

と、いうわけで。
より人間の動きっぽさを実装しやすいと、自分の中で有名なSelenuimを使ってブラウザを自動操作しつつ画像をダウンロードしてみた。

コード

こんな感じ。

いちいちブラウザを立ち上げて処理をこなすようになっているため、よくあるクローラーと比較すると大分遅い。

機能ってほどでもないが、ちょい使えるようにした。

  • クエリを引数に与えられるようにした
  • ファイル名を自動でつけるようにした
  • スクロールさせて取得する画像の量を増やした(scrollを呼べば呼ぶほど沢山の画像がダウンロードできる)

で、こんな感じで呼び出せばOK

アレ

banされない程度にやろう。

 - プログラミング

  • このエントリーをはてなブックマークに追加
  • follow us in feedly

  関連記事

no image
ディープラーニングが気になる

ダラダラとメモ。 Contents1 …

no image
Python(Anaconda)とOpenCVを使って動画から顔画像を抽出してみる

今話題のディープラーニングをやってみたい。 いろいろ見た感じCaffeというフレームワークが良さそう。 …

logo_og
ReactなComponent同士を連携させたい

実践的なサンプルに塗れてなんとなく使ってると破綻する。 分かってること、分かってないことを整理しておきたい。 …

no image
開発で詰まったときにググるキーワード

そもそも公式サイトやソースコード、テストコード、githubなどのissueを読む 基本的には1ヶ月から1年以内の回答しか見ないようにする …

no image
意識低いRuby on Rails再入門4

下記の内容を読んでテスト系の処理をすっ飛ばしたメモ。 http://railstutorial.jp/chapters/sign-in-sign-out?version=4.0#top …

logo_og
ReactNativeでGiphyのデータを表示する

まずは下記をサクッとパクってみる。 当方、比較的AndroiderなのでAndroidで。 …

logo_og
ReactとFluxとReduxについて順を追って整理する

書き途中 Contents1 …

no image
AndroidのHandlerって何?

Handlerは何?と、Handlerを直視するとHandlerの存在意義というかなんというか文脈を捉えることが難しい。 なので、まずはAndroidがシングルスレッドである、という所からスタートしてHandlerに向かってゆく。 …

large_v
MacでDockerした感想文

Contents1 前提:DockerはLinux上でしか動かない1.1 …

no image
Rubyのモジュール機能とRailsのHelperについて考える

Moduleとは 参考サイトを見ながら思ったことをメモ …