রাজা নৃসিংহদেব ১৭৯৯ খ্রিস্টাব্দে হংসেশ্বরী কালীমন্দিরের নির্মাণ শুরু করেন এবং তার মৃত্যুর পর ১৮১৪ খ্রিস্টাব্দে তাঁর বিধবা পত্নী রাণী শঙ্করী মন্দির নির্মাণ সম্পন্ন করেন। এই মন্দিরে তেরোটি রত্ন ও স্তম্ভ প্রতিটি প্রস্ফুটিত পদ্মের ন্যায় নির্মিত। মন্দিরের গর্ভগৃহের উচ্চতা ৭০ ফুট। গোলাকার বেদীর ওপর পাথরে নির্মিত শায়িত শিব মূর্তির নাভি থেকে উদ্গত প্রস্ফুটিত পদ্মের ওপর দেবী হংসেশ্বরীর মূর্তি নির্মিত। দেবীমূর্তি নীলবর্ণা, ত্রিনয়নী, চতুর্ভূজা, খড়্গধারিণী ও নরমুণ্ডধারিণী। এই মন্দিরের পাশেই টেরাকোটা নির্মিত অনন্ত বাসুদেব মন্দির অবস্থিত। দুটি মন্দিরই ভারতীয় পুরাতত্ত্ব বিভাগ দ্বারা সংরক্ষিত।
মাতা হংসেশ্বরী দেবীর মন্দিরে নিত্য পূজাপাঠের ব্যবস্থা আছে। ভক্তজন প্রতিদিন মাতাকে ভোগ নিবেদন করতে পারেন। দ্বিপ্রহরে মন্দিরের গর্ভগৃহ বন্ধ থাকে ,সেই কারণে তখন মাতৃ বিগ্রহ দেখা যায় না, যদিও মূল মন্দিরে প্রবেশের কোন বাধা নাই। বেলা আড়াই ঘটিকায় পুনরায় গর্ভগৃহ খুলে দেওয়া হয়। তখন মাতৃ প্রতিমা দর্শন করা যায় এবং মায়ের কাছে পূজা নিবেদনও করা যায়। ভক্তজন মায়ের ভোগ অন্ন গ্রহণ করতে চাইলে সকাল দশটার মধ্যে মন্দিরের আধিকারিকদের সঙ্গে যোগাযোগ করতে পারেন।