無理にやめる必要は思います。
私は漫画も昔ほど読んでませんし、アニメはめったに見なくなりましたが、単に昔ほど面白い作品がなくなくなった上、時間とお金がもったいないだけです。買ってもいいと思えるような本なら今でも買います。アニメも限られた時間の中でアニメにさく時間がもったいないだけです。
漫画やアニメ好きな大人もたくさんいます。イコール駄目な大人ではありません。漫画読まなかろうがアニメ見てなかろうが駄目な大人は駄目な大人です。
電車で漫画やゲームをしている人はたしかにみっともないですが、正直、携帯で平気で話してる人や大声の人やウォークマンからもれてくる音の方がもっと迷惑ですので。
ニュースも見ず新聞も読まず、漫画とアニメばかりで社会や常識に無関心無頓着、では困りますが、趣味のうちなら無趣味な人よりよっぽどいいです。
どうしてもやめたいなら勉強でも運動でも他の事に興味を広げて、時間を使っていくのがいいかと思います。
本当に好きなのに周囲に言われたからと無理にやめるのは結構しんどいのではないかと思いますので。
追記>
「真剣にお答え願います。」というなら、真剣に回答されている皆様にきちんとした対応をするのが大人というものです。駄目な大人になりたくないのなら、公の場での言動や対応は身につけるべきです。立派な大人ならば真摯な対応ができるはずです。
どんな大人が「駄目な大人」なのか一度きちんとご自身で考える事をお勧めします。
そして貴方自身は「どんな大人になりたいのか」をご自身で見つけてください。
そうでなければ、たとえ漫画やアニメを卒業しても、結局駄目な大人になってしまいます。