小5のこの時期に転塾はよくないでしょうか

小5です。大手塾に通っていますが、担当の先生が何度か変わり、面談でお願いしたこともうまく引き継がれず、不安が募っています。算数が苦手で、予習や質問もしてきましたが結果が出ません。今の塾のスピードについていけないのかもしれないとも思います。
電車で少しのところに、進みがゆっくりめの塾があり、検討し始めました。帰りは夫が迎えに行けます。近くに塾があるのに電車で通わせるのも迷います。小5のこの時期に移るのは避けたほうがいいでしょうか。経験された方がいらしたら教えてください。