そういった部署に異動になったということは、あなたがそれだけ評価されているということではないですか?
普通、評価されていなければ、単純労働や忙しくても単なる肉体労働的な部署にまわすのが常です。
ですから評価されていることに自信を持ってもいいと思います。
私は偉そうなことはいえない休職中のみですが、時間も関係なく、個人に責任を持たせられる、中心的役割を持つ部署に降りました。部署そのものに不満はありませんでしたが、上司の考え方や態度に真っ向から不満というか、考え方、仕事のやり方に問題性を感じストレスが原因となって、たまたまその前にガンにかかって腎臓の摘出もしていたことからストレスと疲労感等の増大によって休職しましたが、仕事そのものには自信ややりがいを持っていました。以前に部下に対しても、「えらそうになったらいけないけどいい意か味でのエリート意識を持て!」と発破をかけたことがありました。
自信を持ってください。
その上でどうしても自分には合わないということでしたらもう一度考えてみてください。何が合わないのか。仕事が合わないのか、忙しいことが合わないのか、人間関係が合わないの、上司と会わないのか…合わない理由も色々とあります。その上でその会わない理由が何なのか、それを排除する方法は果たして全くないのか、それを排除までできないでも、何か回避する方法、手段はないのか、それからでも遅くないですよ。組織ですから当然単純な異動願いを出せばそれなりに評価されます。明らかにマイナス評価です。でもその内容に合理的理由があり、納得できるものであれば会社内での評価は変わってきます。
転職や退職は簡単にできますが、問題はその後の経済問題や家族との関係、あなた自身のスキルやモチベーションなども関係します。
マイナスのままで異動や退職は、その後もマイナスのままになってしまう可能性もあります。もう一度今行ったことを十分に考えて整理してからでも遅くないと思いますよ。