/etc/updatedb.conf の PRUNEPATH とか PRUNENAMES でひととおり除外設定ができるので、そこでちゃんて VCS 系のものとか絶対検索しないようなところとかを除外しておくのはアリ
PRUNENAMES=".git .hg .svn CVS .secret .Trash .cache .cargo __pycache__"
みたいな感じで
あと docker や podman みたいなの使ってたら、そういうののコンテナ類のデータが入ってるようなディレクトリも除外するといい。
たとえば私の場合 podman 使ってるので
PRUNEPATHS="... /home/lo48576/.local/share/containers/storage"
みたいな感じの指定を加えている