این قلعه از کوچه مکتب الصادق تا کوچه مسجد نور امتداد داشته است. قلعه متعلق به دوران قاجار و دارای اطاق های نامنظم و چسبیده به دیوار اصلی، انبار و طویله و سایر خدمات به صورت مشترک بوده است. برج هایی این قلعه را احاطه کرده و دری بزرگ آنرا با محیط پیرامون و باغ های اطراف مرتبط می کرده است. رو به روی این درب جاده ای به سمت کوکوچی منتهی می شده است که از خارج شهر به درون شهرراه داشته است و اکنون بخشی از بلوار شهید صدوقی را تشکیل می دهد.
ریشه نام قلعه سید موسی
نام قلعه از نام سید موسی(آقا) که به قولی مرشد قلعه محسوب می شده و مردی دانا بوده و برای مردم علاوه بر موعظه شاهنامه خوانی می کرده گرفته شده است.
گفته می شود نسب خانواده میرعنایت به موسی می رسد که نسب خود او به امامزاده سید صالح در گلپایگان می رسد.