復活ッッッ!!!
まず assets precompile の失敗は Dockerfile を弄ってビルド時の nodejs のメモリ利用可能量を増やすことで強引に解決。
で、 exec format error の方は単に build するとき docker-compose の override ファイルの指定が抜けていたせいで追加のイメージがそもそもビルドされてなかったっぽい (にしてもエラー内容が謎だが)
https://github.com/lo48576/mastodon/commit/728d6bf8d2078744df6376e33a05f29f36fdc432
`rails assets:precompile` する直前で
ENV NODE_OPTIONS="--max_old_space_size=2048"
を突っ込んでやることでビルドのエラーは回避できた (これ docker-compose.yml 側ではビルド時の環境変数を与えられなかった……)