[翻訳] リクエストとlxmlを使用したWebスクレイピング

ウェブスクレイピング

Web サイトは HTML で記述されており、各 Web ページは構造化されたドキュメントです。現在の構造で必要なデータを取得し、データ形式を維持できる場合もありますが、通常は適切な構造でデータを取得することはできません (csv や json とは異なります)。

Web スクレイピングは適切なタイミングで登場しました。 Web スクレイピングでは、コンピュータ プログラムを使用して Web ページをフィルターし、データの形式を維持しながら適切な構造で対象データを取得できます。

lxml とリクエスト

lxml は、XML および HTML ドキュメントをすばやく解析し、エラー タグも処理できる優れた Python 拡張ライブラリです。さらに、速度と安定性が優れているため、組み込みのurllib2の代わりに Requests を使用します。 pip install lxmlとpipでrequests pip install requestsできます。

まず、 importから始めましょう:

 lxmlからhtmlをインポートしてリクエストをインポートする

原題: [翻訳] リクエストと lxml を使用した Web スクレイピング

キーワード: xml