どれくらいの久しぶりかわからないけど、並列コンパイルだけでなく並列リンク (並列 LTO) ができるようになってるので実際昔より結構早いっぽい
~/.cargo/config に
[target.x86_64-unknown-linux-gnu]
linker = "/usr/bin/clang"
rustflags = ["-Clink-arg=-fuse-ld=lld"]
など書くともっと爆速になるらしい (リンカを LLD にできる)
gentoo の場合はパス通ってないっぽいので
linker = "/usr/lib/llvm/9/bin/clang"
のようにする必要があるけど