قدمت زیارتگاه امامزاده‌یحیی(ع) با گنبد خشتی و هشت‌ضلعی‌اش به قرن هفتم هجری می‌رسد؛ بنایی که در محله‌ای به همین نام واقع شده و شاید تنها بنا در این محله باشد که کمتر مورد تعرض قرار گرفته است. بسیاری از خانه‌های قدیمی بافت تاریخی و قاجاری محله امامزاده‌یحیی(ع) تخریب شده و خیلی‌های دیگر خالی از سکنه هستند.
خیلی از خانه‌ها با هم تجمیع و به پاساژ تبدیل شده‌اند و خیلی‌های دیگر تخریب و به جای آنها ساختمان‌های جدید متولد شده‌اند. سرای کاظمی، یکی از خانه‌های قدیمی این محله است. خانه کاظمی یا همان منزل مسکونی میرزاکاظم‌خان، آن‌قدر بزرگ بود که به مرور توسط همسایگان مورد تعرض قرا‌رگرفت. بخش‌هایی از بیرون و حیاط خانه کم‌‌کم کوچک شدند اما با این حال هنوز هم این خانه عظمت دارد و دیدنی‌است. از شاخصه‌های مهم این خانه، ارسی‌های چوبی با شیشه‌های هفت‌رنگی‌است که بیشتر نقش‌های گل‌ومرغ دارند. نمونه‌های زیادی از نقاشی‌های پشت شیشه در ارسی‌های این خانه دیده می‌شود. هرچند بخش‌های زیادی از تالار پاییزه و تابستانی ساختمان و البته شاه‌نشین آن تخریب شده اما آنچه باقی‌مانده نیز حکایت از ذوق معماران و هنرمندانی دارد که در زمان قاجار می‌زیسته‌اند. به هر حال در شهرمان بناهایی هستند که یا به‌دلیل قرارگرفتن و ثبت‌شدن در فهرست آثار ملی کشور و یا ارزشی که معماری آنها دارد حفظ و بازسازی می‌شوند. یکی از مهم‌ترین نمونه‌هایش هم سرای کاظمی است؛ سرایی که در روزگاری دور، منزل مسکونی میرزاسیدکاظم‌خان مستوفی، وزیر دواب مستوفی اسطبل در عهد قجر بوده است. خب، حالا فکر می‌کنید سرای کاظمی در محله امامزاده‌یحیی(ع) چند سال قدمت دارد؟ سرای‌کاظمی در سال ۱۳۰۳ از علی‌اصغرخان سرخه‌ای خریداری شد.
طرح و شکل بنا در اواخر دوران قاجار شکل گرفت و در دوران پهلوی اول تکمیل شد. سرای‌کاظمی در محله قدیمی امامزاده‌یحیی(ع) واقع شده که دارای ارزش‌های خاص معماری و شهرسازی شامل بافت مسکونی، راسته، گذرهای ارتباطی و فضای شهری خصوصی و عمومی است. این محله، با توجه به تخریب‌های ناشی از ساخت‌وساز جدید، بخش عمده‌ای از ساکنان خود را از دست داده است و خانوار‌های جدید با تفاوت‌های فرهنگی و اجتماعی در آن ساکن شده‌اند. بنای سرای‌کاظمی در مرکز پلاک‌های همجوار خود چون نگینی قرار گرفته است. این بنا که حدود ۱۰۰سال از ساخت آن می‌گذرد، با توجه به جداشدن از ساختمان‌های کناری، با مساحتی حدود ۲هزار و ۳۳مترمربع باقی مانده است که شامل هزار و ۲۱۵مترمربع عرصه و فضای باز و ۶۵۰ مترمربع، اعیان و زیربناست.
مرمت این خانه زیبا از سال ۱۳۸۶ به سفارش معاونت فنی و عمرانی شهرداری منطقه۱۲، طراحی و آغاز و کاربری مناسبی که در شأن محله و بنا باشد برای آن درنظرگرفته شد. حالا این خانه تبدیل به مرکز فرهنگی زیبایی شده است که علاوه بر کتابخانه تهران قدیم، نگارخانه‌ای بزرگ، مرکز نمایش فیلم‌های تهران قدیم، موزه مردم‌شناسی، مرکز مدیریت بافت تاریخی تهران قدیم و کلاسی آموزشی را در دل خود جای داده است.
