Node.jsを使用してアプリケーションを開発する際、避けては通れない課題の一つが「巨大なファイルの取り扱い」です。
数GBを超えるログファイルや大規模なデータセットを読み込む際、安易な実装ではメモリ不足を引き起こし、システム全体をクラッシュさせる危険性があります。
2026年の現在においても、効率的なメモリ管理はバックエンドエンジニアにとって必須のスキルであり続けています。
本記事では、Node.jsの強力な機能である「ストリーム（Stream）」を活用し、メモリ消費を最小限に抑えながら巨大ファイルを処理する具体的な手法を解説します。
巨大ファイル読み込み時に発生するメモリ問題
Node.jsでファイルを読み込む最もシンプルな方法は、fs.readFile()を使用することです。
しかし、このメソッドはファイルの内容をすべてメモリ上にロードしようとします。
もしファイルサイズがNode.jsのプロセスに割り当てられたV8ヒープメモリの上限を超えると、エラーが発生します。
たとえ上限以内であっても、メモリ使用量が急増することでガベージコレクションが頻発し、アプリケーションのパフォーマンスが著しく低下します。
特に、クラウドネイティブな環境やコンテナ環境では、メモリリソースが厳しく制限されていることが多いため、実装には細心の注意が必要です。
fs.readFileによる失敗例
まずは、巨大なファイルに対して不適切な手法を用いた場合の挙動を確認してみましょう。
const fs = require('fs');
// 10GBのファイルを一括で読み込もうとするコード
fs.readFile('huge_log_file.log', (err, data) => {
if (err) {
console.error('読み込み失敗:', err);
return;
}
console.log('読み込み完了');
});RangeError [ERR_FS_FILE_TOO_LARGE]: File size (10737418240) is greater than 2 GB上記の実行結果が示す通り、Node.jsのバッファサイズ制限（通常は約2GB〜4GB程度）を超えると、即座に例外がスローされます。
これを回避するためには、「一度にすべて読み込む」のではなく「少しずつ読み込む」というアプローチが必要になります。
Node.jsストリームの基本概念
ストリームとは、データを小さなチャンク（塊）に分割して、順次処理するための仕組みです。
蛇口から流れる水のように、データが途切れることなく流れ、必要な分だけをその都度処理します。
これにより、数GBのファイルであっても、メモリ上には常に数十KB程度のデータしか存在しない状態を維持できます。
Node.jsには、主に4種類のストリームが存在します。
| ストリームの種類 | 役割 |
|---|---|
| Readable Stream | データの読み取り用（例：fs.createReadStream） |
| Writable Stream | データの書き込み用（例：fs.createWriteStream） |
| Duplex Stream | 読み書き両方が可能（例：TCPソケット） |
| Transform Stream | データの読み取りと書き込みの間に変換処理を挟むもの（例：zlib.createGzip） |
fs.createReadStreamによる効率的な読み込み
巨大なファイルを安全に処理する第一歩は、fs.createReadStream()を利用することです。
このメソッドは、指定したファイルを小さなチャンクに分割して読み出すReadableストリームを生成します。
デフォルトのチャンクサイズは64KBですが、オプションのhighWaterMarkで調整することも可能です。
const fs = require('fs');
// Readableストリームを作成
const readStream = fs.createReadStream('huge_data.csv', {
encoding: 'utf8',
highWaterMark: 64 * 1024 // 64KB単位で読み込み
});
// データが届くたびに発生するイベント
readStream.on('data', (chunk) => {
console.log(`受信したデータのサイズ: ${chunk.length} 文字`);
// ここでチャンクごとに処理を行う
});
// 読み込みが完了した時のイベント
readStream.on('end', () => {
console.log('すべてのデータの読み込みが完了しました。');
});
// エラーハンドリング
readStream.on('error', (err) => {
console.error('読み込み中にエラーが発生しました:', err.message);
});このコードを実行すると、ファイル全体をメモリに載せることなく、少しずつコンソールに出力されます。
たとえファイルが100GBあっても、このプログラムのメモリ使用量はほぼ一定に保たれます。
readlineモジュールによる行ごとの処理
テキストベースのログファイルやCSVファイルを扱う場合、チャンク（バイト列）単位よりも「行単位」で処理したいケースが多いでしょう。
そのような場合には、Node.js標準のreadlineモジュールを組み合わせるのが非常に有効です。
readlineは、読み取りストリームをラップし、改行コードを検知して一行ずつデータを提供してくれます。
const fs = require('fs');
const readline = require('readline');
async function processLineByLine() {
const fileStream = fs.createReadStream('server.log');
// readlineインターフェースを作成
const rl = readline.createInterface({
input: fileStream,
crlfDelay: Infinity // \r\n だけでなく \n にも対応
});
let lineCount = 0;
// for await...of 構文を使用して非同期に一行ずつ読み込む
for await (const line of rl) {
lineCount++;
// 特定の条件に合致する行だけを抽出する例
if (line.includes('ERROR')) {
console.log(`エラー検出 (${lineCount}行目): ${line}`);
}
}
console.log('ログ解析が終了しました。');
}
processLineByLine().catch(console.error);この手法は非常にメモリ効率が良く、Node.jsのモダンな書き方として推奨されます。
for await...ofを使用することで、非同期処理を同期処理のような直感的な構文で記述できる点も大きなメリットです。
pipeline APIによる安全なストリーム接続
読み取ったデータを加工して別のファイルに書き出すなど、複数のストリームを連結させる場合にはpipe()メソッドが使われます。
しかし、従来のpipe()には、エラーが発生した際に全てのストリームが適切に閉じられない（メモリリークの原因になる）という欠点がありました。
そのため、現代のNode.js開発ではstream/promisesモジュールのpipelineを使用するのがベストプラクティスです。
const { pipeline } = require('stream/promises');
const fs = require('fs');
const zlib = require('zlib');
async function compressFile() {
try {
// pipelineは読み込み、変換、書き込みを安全に連結する
await pipeline(
fs.createReadStream('input_huge.txt'), // 入力
zlib.createGzip(), // 圧縮（Transformストリーム）
fs.createWriteStream('output.txt.gz') // 出力
);
console.log('圧縮と書き込みが成功しました。');
} catch (err) {
console.error('ストリーム処理中にエラーが発生しました:', err);
}
}
compressFile();pipelineを使用すると、途中の工程でエラーが発生しても自動的に全てのストリームをクリーンアップしてくれます。
堅牢なシステムを構築するためには、自前でイベントを管理するよりもpipelineに任せるべきです。
バックプレッシャー（Backpressure）の理解と対策
ストリーム処理において最も重要な概念の一つが「バックプレッシャー」です。
これは、「読み込み速度」が「書き込み速度」を上回ってしまった際に発生する負荷のことです。
例えば、高速なSSDからデータを読み込み、低速なネットワーク経由で外部ストレージに書き込んでいる状況を想像してください。
読み込んだデータが書き込み待ちの状態でメモリ内に溜まってしまい、結局メモリ不足に陥る可能性があります。
Node.jsのpipe()やpipeline()はこのバックプレッシャーを自動的に制御してくれます。
書き込みバッファがいっぱいになると、一時的に読み込みを停止し、バッファが空いたら再開するという制御を内部で行っています。
自作のストリーム処理を実装する場合は、write()メソッドの戻り値がfalseを返した際に、drainイベントを待機するように設計する必要があります。
Transformストリームによるリアルタイム変換
読み込んだデータをメモリを節約しながら変換したい場合は、Transformストリームを作成します。
例えば、巨大なJSONデータの特定のキーだけを抽出したり、CSVの列を入れ替えたりする処理に最適です。
const { Transform } = require('stream');
const uppercaseTransformer = new Transform({
transform(chunk, encoding, callback) {
// 受け取ったデータを大文字に変換して次へ渡す
this.push(chunk.toString().toUpperCase());
callback();
}
});
// pipeline内で使用可能
// await pipeline(readStream, uppercaseTransformer, writeStream);このように、「加工」というステップもストリームの一部として定義することで、メモリの利用効率を極限まで高めることができます。
実践：パフォーマンスを最大化するTips
巨大ファイルの処理効率をさらに向上させるためのポイントをいくつか紹介します。
1. highWaterMarkの最適化
ストリームの内部バッファサイズ（highWaterMark）は、デフォルトで64KBです。
サーバーのメモリに余裕がある場合、これを数MB程度に増やすことで、I/Oの回数が減り、処理速度が向上することがあります。
ただし、大きくしすぎると複数のリクエストを並行処理する際にメモリを圧迫するため、バランスが重要です。
2. 文字列化の回避
バイナリデータをそのまま扱う場合は、encoding: 'utf8'を指定せずにBufferとして処理する方が高速です。
文字列変換はCPUコストがかかるため、画像や動画などのバイナリファイルを扱う際は意識しましょう。
3. 不要なイベントリスナーの削除
大量のファイルを処理する場合、イベントリスナーを登録しすぎるとメモリリークの原因になります。
once()を使用するか、処理完了後に明示的にリスナーを解除することを忘れないでください。
まとめ
Node.jsで巨大なファイルを効率的に読み込むための鍵は、ストリーム処理をいかに使いこなすかにあります。
fs.readFile()による一括読み込みは小規模なデータには便利ですが、本番環境の巨大なデータに対してはリスクが高すぎます。
fs.createReadStream()、readline、そしてpipelineを適切に組み合わせることで、低メモリかつ高スループットなシステムを実現できます。
特に、バックプレッシャーを意識したストリーム設計は、2026年以降のより大規模化するデータ処理において、プロフェッショナルな開発者にとって必須の知識となるでしょう。
今回紹介した手法を取り入れ、リソース効率の高い、安定したNode.jsアプリケーションを構築してください。