無理があるのは web UI とかクライアントのターゲットの問題であって、プロトコルというか fediverse という闇鍋的存在にはべつに違和感を持っていない
web (というか HTTP) もあらゆるアプリケーションが上に乗ってるけど今更違和感ないでしょう (ある人はドンマイ)
たとえば静的なドキュメントに特化したプロトコルが欲しいみたいな話であればまあわかるし、そういうのは AP にも同様のことは言えそう (入らんが)
まあ ActivityPub の場合は出自的に、それ Atom feed じゃない？ みたいな話になりかねないけど。
汎用的すぎるにしても、イベントを配信するというコアの概念はかなり素朴だからどうにか受け入れられるというのはあるかもしれない
ここに外部から動画配信とテキストの同期だとか音声だとかあれやこれや付けていくと、ブレブレになって違和感は大きくなるのかもしれない (知らんが)