จากจุดเริ่มต้นที่บรรพบุรุษตระกูลซิ้ม ได้เข้ามาพึ่งพระบรมโพธิสมภารในประเทศไทยมาเป็นระยะเวลาเนิ่นนาน จวบจนในปี พ.ศ. 2429 ได้มี ชาวแซ่ซิ้มที่เข้ามาตั้งถิ่นฐานอยู่ในย่านวงเวียนใหญ่ กรุงเทพมหานคร มีจำนวนมากขึ้น จึงได้ริเริ่มก่อตั้งศาลเจ้าแซ่ซิ้มขึ้น โดยได้รวบรวมเงินจากลูกหลานแซ่ซิ้ม และก่อสร้างศาลเจ้าแซ่ซิ้มขึ้นมา ทำให้ลูกหลานชาวแซ่ซิ้มได้มีศาลเจ้าสำหรับสักการะบูชาบรรพบุรุษตั้งแต่นั้นเป็นต้นมา และนับเป็นศาลเจ้าประจำตระกูลที่ก่อตั้งขึ้นมาก่อนตระกูลอื่นใดทั้งหมด เดิมศาลเจ้าแซ่ซิ้ม ตัวอาคารมีเนื้อที่