Kelenteng ini memiliki nilai sejarah yang berhubungan dengan Laksamana Cheng Ho (Sam Po Tay Djien), seorang pelaut Muslim dari Tiongkok yang terkenal dengan perjalanannya yang membawa misi damai. Saat ia berlayar melewati Laut Jawa, awak kapalnya yang bernama Wang Jinghong (Dampo Awang) jatuh sakit. Kemudian Cheng Ho memerintahkan untuk membuang sauh dan merapat ke pantai utara Semarang dan mendirikan sebuah masjid di tepi pantai. Awalnya tempat ini cuma berupa goa dan di dalamnya terdapat sebuah altar yang digunakan Cheng Ho dan pengikutnya sebagai tempat sholat. Ketika Cheng Ho melanjutkan perjalanan, goa tersebut tertimbun tanah longsor pada tahun 1704. Sebagai penghormatan terhadap Cheng Ho, masyarakat setempat menggali kembali serta membagun altar yang dilengkapi dengan patung Cheng Ho beserta pengawalnya