現存建筑可分為早、中、，晚三期。早期建筑藏語稱“扎西群宗”，始建于13世紀，現存最高為12米的宮墻殘段和南、北大門；中期建筑藏語稱“甘丹拉孜”，建于15世紀；為拉加里王宮遺址現存的主體建筑，由王宮、倉庫、拉康（宮殿）、廣場、馬廄等組成，原為5層，現存3層。尚殘存部分壁畫；晚期建筑稱 “夏宮”，建于18世紀，現存部分為一基本完整的院式宮。

    拉加里王宮遺址基本保持了原建筑的布局和結構，其建筑風格融合了漢族的建筑風格，這在西藏王宮建筑中是極為珍貴的，亦是研究西藏地方歷史、建筑史的重要實物資料。遺址不遠處有著名的色吾溫泉。