Python で大きなファイルを読み取る

Python で大きなファイルを読み取る

1. はじめに

数日前、ログ解析システムに取り組んでいて、数十 GB のファイルを処理する必要がありました。元のfor line in open(filepath).readlines()使用して処理しようとしましたが、長時間停止したまま変化がなく、メモリを大量に消費していることがわかりました。オンラインで検索したところ、大きなファイルを読み取る方法が 2 つ見つかりました。

2. 大きなファイルを読み取る

以下に示すように、読み取りwith非常に Python 的な方法です。

 with open(filepath) as f: for line in f: <行に対して何かを行う> 

元のタイトル: Python は大きなファイルを読み取る

キーワード: python

<<:  Django1.6 カスタム マークダウン フィルター

>>:  Python を使用した Google Analytics API の簡単な実装

推薦する

ビジネスシナリオに基づくコンテナ脱出技術

導入近年、コンテナは、あらゆる環境で実行できること、オーバーヘッドが低いこと、数秒で起動できること、...

ウェブサイト最適化の基本的な考え方と運用方法の簡単な分析

著者は主に企業ウェブサイトの運用と最適化に携わっています。以前の記事では、ランキングや企業ウェブサイ...

動画サイトの収益の新たな金鉱が2つ

電子商取引サイトと同様に、動画サイトも長年、お金を費やしても成果が出ていません。インターネットで流布...

Baidu への投稿の欠点と Baidu のインスタントコレクションの実装方法についての詳細な分析

新しいサイトの場合、最も一般的な方法は、Baidu に送信することです。ここで、Baidu に送信し...

ウェブサイトのおすすめ: RunfacesはFacebookのギャップを埋めるビデオソーシャルネットワーキングサイトです

Runfaces のスローガン: 「興味に基づいた動画を通じて新しい人々と出会う」ユーザーの個人ホー...

2022年の世界教育アプリ市場の洞察

2020年に世界を席巻したCOVID-19パンデミックにより、オフライン教育にさまざまな程度の制限が...

budgetvm-$4.99/Xen/1G メモリ/50G ハードディスク/2 コア/2IP/3T トラフィック/Alipay

豊富なリソース、低価格、Alipay 決済をサポートする、budgetvm の安価な XEN ベース...

グーグル中国に続き、ヤフー中国も来年1月に音楽関連サービスを停止する。

12月17日、Google Chinaが音楽検索サービスを停止したのに続き、Yahoo Chinaも...

VMware が Gartner の統合エンドポイント管理マジック クアドラントで 4 年連続リーダーに選出

VMware は最近、ガートナー社の「2021 年統合エンドポイント管理 (UEM) マジック クア...

オンサイト最適化におけるアンカーテキストの使用上の注意点について簡単に説明します。

最適化担当者は皆、テキスト リンクと比較したアンカー テキストの役割を深く認識しています。アンカー ...

SEO が緑色のパイナップルに遭遇した場合、SEO は何をすべきでしょうか?

百度緑大根アルゴリズム1.0のリリース発表は2013年2月19日に行われ、このアルゴリズムの発効日は...

9日間で外国貿易の英語ウェブサイトをGoogle第2位に最適化

私は現在大学3年生で、外国貿易会社でインターンとして働き、GoogleのSEO最適化とウェブサイト構...

四川省、フォーラム特別登録を再開、年末までに完了しない場合は終了

7月31日のニュースによると、最近、多数のウェブマスターがIDCからフォーラムの特別登録を行うよう求...

ZStack Cube: ハイパーコンバージェンス 3.0、シナリオベースのオールインワンマシン

[51CTO.comからのオリジナル記事] インターネット、特にモバイルインターネットの急速な発展に...