人気順検索のSolrはスケールのためにディスクを捨てた - クックパッド開発者ブログ
https://techlife.cookpad.com/entry/2020/11/25/080000
tmpfs のファイルに write すると遅いので mmap するといいよみたいな話が最後らへんにある
クックパッド開発者ブログ人気順検索のSolrはスケールのためにディスクを捨てた - クックパッド開発者ブログ5年間も変化を寄せ付けず、強烈なレガシーとなっていた検索システムは、丁寧な観察に基づく大胆な設計とそれを実現する確かな実装によって近代化されました
プログラムのファイル読み書きで「mmap」を使うと速度が向上する理由とは？ - GIGAZINE
https://gigazine.net/news/20201031-mmap-system-faster-system-call/
こっちも似たような文脈で、ユーザ空間とカーネル空間でのデータコピーの効率が mmap の方が良いと
gigazine.netプログラムのファイル読み書きで「mmap」を使うと速度が向上する理由とは？ソフトウェア開発において「ファイルの読み書き」は使用頻度の高い操作であり、速度の向上はソフトウェア全体のパフォーマンスに大きく影響します。そんなファイルの読み書き操作を行う際に「mmapを使った方が通常のシステムコールよりも高速にファイルを操作できる理由」について、ブリティッシュコロンビア大学の准教授であるAlexandra Fedorova氏が説明しています。
らりお・ザ・何らかの🈗然㊌ソムリエ @lo48576@mastodon.cardina1.red
ripgrep is faster than {grep, ag, git grep, ucg, pt, sift} - Andrew Gallant's Blog
https://blog.burntsushi.net/ripgrep/#subtitles_literal
こっちはちょっと切り口が違って、 mmap 上でのパフォーマンスは良いがセットアップ自体のオーバーヘッドが大きいので、対象ファイルが少ないときだけ mmap するといい感じになるよと
blog.burntsushi.netripgrep is faster than {grep, ag, git grep, ucg, pt, sift} - Andrew Gallant's BlogI blog mostly about my own programming projects.
まあ ripgrep の検索は大量の (もしかすると小さな) ファイルを一気に舐めるものなので、そういう観点で mmap のオーバーヘッドが無視できないみたい
シーケンシャルアクセスで全体を読む必要があるからねぇ
検索対象の文字列が fixed string で数 MB 単位とかだと、効率的な検索アルゴリズムが読み飛ばしをするとき mmap だと効率が良いかもしれないけど……まあ想定する意義を感じない条件ではある