派遣社員という雇用形態が評判悪いのは何で？

俺の職場には正社員の人と、俺を含めた直接雇用のバイトが少数と、間接雇用である派遣社員の人がいるけど、バイトと派遣の人の扱いにあまり差があるようには見えない。もちろん、待遇や給料に差があるのだろうけど、ネットだと派遣という雇用形態が悪く言われていることが多いので、その理由を知りたい。