[翻訳] リクエストとlxmlを使用したWebスクレイピング

[翻訳] リクエストとlxmlを使用したWebスクレイピング

ウェブスクレイピング

Web サイトは HTML で記述されており、各 Web ページは構造化されたドキュメントです。現在の構造で必要なデータを取得し、データ形式を維持できる場合もありますが、通常は適切な構造でデータを取得することはできません (csv や json とは異なります)。

Web スクレイピングは適切なタイミングで登場しました。 Web スクレイピングでは、コンピュータ プログラムを使用して Web ページをフィルターし、データの形式を維持しながら適切な構造で対象データを取得できます。

lxml とリクエスト

lxml は、XML および HTML ドキュメントをすばやく解析し、エラー タグも処理できる優れた Python 拡張ライブラリです。さらに、速度と安定性が優れているため、組み込みのurllib2の代わりに Requests を使用します。 pip install lxmlpiprequests pip install requestsできます。

まず、 importから始めましょう:

 lxmlからhtmlをインポートしてリクエストをインポートする

原題: [翻訳] リクエストと lxml を使用した Web スクレイピング

キーワード: xml

<<:  スクレイピーデータをExcelとして保存

>>:  Django1.6 カスタム マークダウン フィルター

推薦する

復旧には14日かかり、近年最大のSaaS障害となった。

すべての開発プロジェクトを管理するプラットフォーム、社内文書の共有ナレッジベース、ビジネス部門、営業...

dedispec-$29/Xiongan 5420 [8コア8スレッド]/24gメモリ/2Tハードディスク/100m無制限

またクリスマス、そしてまた年末。言い訳はたくさんあるけど、急いで在庫処分して、サーバーの売り切れが始...

JD Cloud Director が分散コンピューティングの本質を説明します (ビデオを含む)

[[264940]] 1953 年、エブ・グロッシュは、コンピュータのパフォーマンスはコストの 2 ...

edgevirt: 月額 3 ドル、シアトル VPS、4G メモリ/2 コア/50g SSD/20T トラフィック/10Gbps 帯域幅

オリジナルのエクイニクス マイアミ データ センターをベースに、edgevirt はシアトルに拡大し...

Docker 設定チュートリアル: 実践ガイドと簡単な間違い

1. 適切なオペレーティングシステム適切なオペレーティング システムを選択することは、Docker ...

Yahoo 外部リンク クエリが閉じられた後の新しい外部リンク クエリ

Yahoo はなくなりましたが、ウェブサイトのバックリンクを確認するにはどうすればよいでしょうか。こ...

スマーティサンのスマートフォン発売から羅永浩のソーシャルメディアマーケティングを見る

今月、テクノロジー業界で最も注目を集めた出来事は、羅永浩のスマートサンスマートフォンだ。元々英語教師...

ihostart: ルーマニアの苦情防止 VPS、8G メモリ/1 コア/400g ハードディスク/30T トラフィック/1G 帯域幅

2009 年に設立されたルーマニアの商人である ihostart は、デフォルトの帯域幅が 1Gbp...

PieLayer-1g メモリ/25g SSD/G ポート/無料の直接管理パネル

Ultrafast 1024 [カリフォルニア州サンディエゴのデータセンター。テスト IP: 204...

1ヶ月以内にキーワードをホームページに載せる体験談

実際、私は長い間SEOと連絡を取りました(登録時間2009-3-5)。オンラインで1か月もかかりませ...

質の高いオリジナル記事を書きたいなら、私の方法を試してみてください

SEO ブログを立ち上げて以来、オリジナル記事を書くことにこだわってきましたが、記事のパフォーマンス...

テンセントの五虎:お互いを忘れてはいかがでしょうか?

曽立清、陳一丹、張志東、彼らはなぜテンセントを去ったのか? 2014年3月19日、テンセントの5人の...

クラウドにおける完璧な組み合わせ: コンテナと DevOps

企業が継続的デリバリー アプローチの実装や、ソフトウェア開発プラクティスへのクラウド コンピューティ...

bacloud: リトアニアの自社データセンターにある通常の KVM シリーズ VPS の簡単なレビュー (トラフィック無制限、「Alipay」をサポート)

一昨日、リトアニアの老舗ブランドbacloudがホストキャット向けに15%オフの定期割引コードをカス...

エッジコンピューティング: ビジネスチャンスと成功のための技術的考慮事項

デジタルへの移行により、デバイス、センサー、電話、ネットワーク、相互接続されたインフラストラクチャが...