▲巨海院山門

1622年それまで支配していた最上氏が改易となり、近江の国に移ったため、代わりに新しい大名が入ってきました。左沢を中心とした周辺地域約1万2千石は当時鶴岡藩主だった酒井忠勝の弟直次に与えられ、左沢藩が成立しました。
直次は、楯山にあった城にかえて新しく小漆川に城を築き（小漆川城）、更に、小漆川（市野沢川）をはさんだ東の方に新しい町をつくって楯山やふもとにあった屋敷や神社、寺院などを移しました。町作りの中心は南北に走る御免町通りとこれから東に延びる内町、横町の通りで、今の左沢の町の始まりでした。

▲巨海院山門正面

しかし、左沢藩は長続きしませんでした。直次が1631年（寛永8年）に後継ぎがいないまま亡くなると、その領地は幕府領となり鶴岡藩の預かり支配となりました。城もやがて取り壊され、大手門のみ直次の菩提寺である巨海院の山門として移築されました。江戸時代の絵図によると堀や土塁など城跡の形が長く残っていましたが、1902年（明治35年）に本丸部分を貫いて道路がつくられると崩れてしまい、当時の姿をそのまま伝えているのは大手門だけとなりました。