スクレイピーデータをExcelとして保存

背景

Scrapy はデフォルトで csv として保存でき、Excel で開くことができます。 scrapy crawl spider_name -o data.csvを使用するだけです。しかし、csv 形式には、中国語のエンコードの問題やカンマ区切りなど、多くの不便な点があります。これらは解決できますが、一般ユーザーにとってはまだ十分に使いやすいとは言えません。

そこで、データを xlsx ファイルに直接保存して、すべての問題を完全に解決することを考えました。主にScrapyのpipeline.pyとpythonのオープンソースライブラリOpenPyxlを使用しました。

パイプラインについて

pipelineは、Scrapy のモジュールです。スパイダーによってデータがキャプチャされた後、 pipelineによって処理されます。通常、 pipelineには複数の「プロセス」があり、データはこれらの「プロセス」を順番に通過します。製品が特定の「プロセス」に合格しない場合は、廃棄されます。

pipelineには一般的にいくつかの用途があります。

• クリーンな HTML データ (たとえば、不要なタグをクリーンにする)
• データがキャプチャされたことを確認する（たとえば、特定のフィールドが含まれているかどうかを確認する）
• 重複をチェックする（重複データをフィルタリングする）
• キャプチャしたデータをデータベースに保存する

ここでは最後の関数を使用し、xlsx ファイルとして保存します。

OpenPyxlについて

OpenPyxlは、Excel 2007 xlsx/xlsm ファイルを読み書きするための Python ライブラリです。では、早速、いくつか例を挙げてみましょう。

 from openpyxl import Workbookwb = Workbook() # class instanceiationws = wb.active # worksheet をアクティブ化ws['A1'] = 42 # A1 テーブルにデータを入力しますws.append(['Kobe', '1997', 'Guard', 'Season reimbursement']) # データの行を追加しますwb.save('/home/alexkh/nba.xlsx') # ファイルを保存します

元のタイトル: Excel として保存された Scrapy データ

キーワード: Excel