PythonでのPhantomJSによるWebスクレイピングの方法【初心者向け】

2019年02月09日 18:50:00
テクノロジー
TechAcademyマガジン

PythonでのPhantomJSによるWebスクレイピングの方法について解説します。

Pythonについてそもそもよく分からないという方は、Pythonとは何なのか解説した記事をまずご覧ください。

なお本記事は、TechAcademyのPythonオンライン講座の内容をもとにしています。

今回は、Pythonに関する内容だね！

どういう内容でしょうか？

PythonでのPhantomJSによるWebスクレイピングの方法について詳しく説明していくね！

お願いします！

Webスクレイピングとは

Webスクレイピングとは、Webサイトから情報を抽出する処理のことです。

研究や商業目的で、Web上で公開されている情報(ニュースや統計データなど)を収集するために用いられる技術です。

PhantomJSとは

PhantomJSとはヘッドレスブラウザ(※)の1つです。(※)GUIを介さずに動作するブラウザのこと。

ChromeやFirefoxなどの通常のWebブラウザも「ヘッドレスモード」を備えています。

ヘッドレスブラウザは通常のWebブラウザと比較して起動が高速という利点があります。

そのため、本記事で紹介するようなスクレイピングや、Webアプリケーションのテストなどに頻繁に使用されています。

PhantomJSのインストール方法

Webブラウザ操作自動化の仕組み、Seleniumを用いてPhantomJSを動かします。

pipコマンドでSeleniumをインストールします。

pip install selenium

PhantomJSの公式サイトからPhantomJSをダウンロードします。

この記事ではWindows版を使用し、カレントディレクトリにphantomjs.exeを配置しました。

以下のコードを実行できれば、インストールに成功しています。

import selenium.webdriver
 driver = selenium.webdriver.PhantomJS()

なお、PhantomJSは開発を中断しているため、以下のような警告メッセージが表示されます。

警告メッセージの通り、今後はPhantomJSの代わりに、ChromeやFirefoxのヘッドレスモードを用いるのが良いでしょう。


 UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead
 warnings.warn('Selenium support for PhantomJS has been deprecated, please use headless '

PhantomJSによるWebスクレイピングの方法

以下のようなコードでWebドライバを初期化し、Webページにアクセスします。

import selenium.webdriver

 driver = selenium.webdriver.PhantomJS()
 driver.get(<アクセス先URL>)

以降、Webドライバのインスタンス(この例ではdriver変数)を通じて、Webページの内容を参照したり操作したりします。

実際に書いてみよう

TechAcademyのサイトでimg(画像)タグをスクレイピングし、URLを抽出してみます。

サンプルコード


 import selenium.webdriver

 driver = selenium.webdriver.PhantomJS()
 driver.get('https://techacademy.jp/')
 elems = driver.find_elements_by_tag_name('img')
 for e in elems:
 print(e.get_attribute('src'))

実行結果

以下のようにURLが表示されました。

Webスクレイピングで取得した画像1

Webスクレイピングで取得した画像2

解説

はじめにSeleniumモジュールをインポートしました。

3行目でPhantomJSのWebドライバを初期化しました。

4行目でTechAcademyのサイトにアクセスしました。

5行目でimgタグを検索しました。

6,7行目で検索結果をループしながら、imgタグ内のsrc属性(URL)を表示しました。

監修してくれたメンター

橋本紘希

システムインテグレータ企業勤務のシステムエンジニア。

開発実績: Javaプログラムを用いた業務用Webアプリケーションや、基幹システム用バッチアプリケーションなどの設計構築試験。

内容分かりやすくて良かったです！

ゆかりちゃんも分からないことがあったら質問してね！

分かりました。ありがとうございます！

オンラインのプログラミングスクールTechAcademyではPythonを使って機械学習の基礎を学ぶPythonオンライン講座を開催しています。

初心者向けの書籍を使って人工知能（AI）や機械学習について学ぶことができます。

現役エンジニアがパーソナルメンターとして受講生に1人ずつつき、マンツーマンのメンタリングで学習をサポートし、最短4週間で習得することが可能です。

また、現役エンジニアから学べる無料のプログラミング体験会も実施しているので、ぜひ参加してみてください。

アクセスランキング