職場で「同じシフトの人と一緒に帰る」という暗黙の了解があり、しんどいです。回避する方法はありますか？

現在の職場のことで相談させてください。

私の職場では、仕事終わりは同じシフトだった人と一緒に退勤し、駐車場まで一緒に歩いて帰るのが暗黙の了解のようになっています。

「たった数分間くらい我慢すればいいのに」と思われるかもしれませんが、駐車場が建物から少し離れており、その数分間の移動がとても苦痛です。