Selenium+PhantomJS+Xpath で Web ページの JS コンテンツをクロールする

以前、クローラー プロキシ Web サイトをクロールしたところ、ポートに対して何らかの処理が行われており<script>document.write((2773^seal)+837);</script> 。こういう変更を一つやるだけでも頭を悩ませます。最も馬鹿げた方法で実現できるのですが、面倒すぎるし、コード量も膨大です。クレーンを操作してカードを掴むような感じです。最後に、少し遅いですが簡単に取得できる Selenium メソッドを考えました。

インストール

リナックス

sudo pip install seleniumsudo apt-get install PhantomJS

ウィンドウズ

• Selenium のダウンロード アドレス: https://pypi.python.org/pypi/selenium#downloads
• PhantomJS ダウンロードアドレス

原理

セレンについて

Selenium は、複数のプラットフォーム上で複数のブラウザを操作し、ブラウザの実行、ページへのアクセス、ボタンのクリック、フォームの送信、ブラウザ ウィンドウの調整、右クリックやドラッグ アンド ドロップの操作、ドロップダウン ボックスやダイアログ ボックスの処理など、さまざまなアクションを実行できる Web 自動テスト ツールです。QA 自動テストに不可欠なツールです。
クロール時にこれを選択する主な理由は、Selenium はページをレンダリングし、ページ内で JS を実行し、ボタンをクリックしたり、フォームを送信したり、その他の操作を実行できるためです。
しかし、Selenium はページをレンダリングできるため、requests+BeautifulSoup よりも遅くなります。

PhantomJsについて

PhantomJs は、レンダリング エンジン (QtWebkit) と JS エンジン (JavascriptCore) を備えた、ページのないブラウザーと見ることができます。 PhantomJs には、DOM レンダリング、JS 実行、ネットワーク アクセス、Web ページのスクリーンショットなど、複数の機能があります。

PhantomJS は、主に PhantomJS のサイレント モード (ブラウザーを開かずにバックグラウンドで実行される) の理由で、Chromedriver や Firefox の代わりに使用されます。

クロールの例

小さなテスト - zhidaow.com タイトルをクロール

まずは簡単な例を見てみましょう。以前は、このようなコンテンツは一般的にrequests+BeautifulSoupまたはScrapyを使用して処理されていました。

 from selenium import webdriverbrowser = webdriver.PhantomJS('D:\phantomjs.exe') # ブラウザーの初期化。Win では phantomjs パスを設定する必要があり、Linux では空白のままにできます。url = ' # アクセス パスを設定します。browser.get(url) # Web ページを開きます。title = browser.find_elements_by_xpath('//h2') # xpath を使用して要素を取得します。for t in title: # 出力をトラバースします。print t.text # テキストを出力します。print t.get_attribute('class') # 属性値を出力します。browser.quit() # ブラウザーを閉じます。例外が発生した場合、タスクブラウザでPhantomJSを閉じることを忘れないでください。複数のPhantomJSが実行され、コンピュータのパフォーマンスに影響を与えるためです。 

元のタイトル: Selenium+PhantomJS+Xpath で Web ページの JS コンテンツをクロールする

キーワード: JS