聖荷西市中心曾有一個相當大的華人社區，是在附近農場和果園工作的中國移民的生活中心，市內曾先後出現五個華埠，最大的一個建於1872年，當年是加州最大的唐人街之一。五年後，市議會宣布華埠為公害，並一致批准將其拆除，以便為新市政廳讓路。不料在官員採取行動之前，繁華的唐人街卻遭縱火燒毀，摧毀了數百所房屋和企業，約1,400人流離失所。其中1887年的那場離奇大火幾乎燒毀了整個華埠，當時逃過一劫的華裔居民被迫遷到了今天的日本城所在地。
歷史資料顯示，聖荷西的第一市場街華埠建於1866年， 當時的麥肯齊鑄鐵廠、聖荷西啤酒廠和聖荷西自來水廠的塔樓等，都印證著那時的繁華；第二市場街華埠在1887年的一場縱火中被燒毀，沒有記錄在案的人員傷亡，但聖荷西的整個華人社區都從此流離失所，而大多數華人都是縱火的受害者。後來為了紀念曾經被燒毀的唐人街華埠，每年都有倖存者和後來的華裔扛著「五聖宮」五神廟的旗幟，城門外用鞭炮和煙花慶祝節日。被燒毀的華埠以及後來的《排華法》也成為多年來華人心中的一大遺憾和雪恥心願。
華人先民的歷史貢獻現在已廣獲肯定，加州在2009年向華人勞工道歉，國會也為1882年通過的《排華法》道歉。去年，當聖荷西市政府在疫情下各地開始出現仇視亞裔情況風潮下，向華裔正式道歉時，南灣知名華人歷史學家、《美國聖荷西唐人街》一書的作者虞容儀芳（Connie Young Yu）身為華裔後裔代表出席，她當時表示「聖荷西政府官方的道歉給了她巨大的和解感與和平感，這超出了道歉的範圍，代表他們正在勇於承擔責任，這對我來說是一件美好的事情， 同樣的這個事實也讓聖荷西居民以及整個華裔社區歡欣鼓舞」。
虞容儀芳的祖父曾經居住在聖荷西當年被大火焚毀的唐人街。她的父親出生在聖荷西現存的最後一個唐人街。儘管生命受到威脅，但在德國移民約翰海因倫的幫助下，該社區在一個新地點建立起來。但是，在華人人口減少之後，那個被稱為Heninlenville的華埠就消失了。
她在近期的一個活動中曾回憶講述她祖父和一些非常生動的故事。她的祖父Young Soong Quong於1881年在他11歲時來到第二市場街的華埠，在叔叔的店裡放貨架、打掃地板，許多工人來這裡吃飯打牌、寄錢回家。後來一個白人家庭聘請他去做管家，而這項工作就要求他離開唐人街，讓他第一次經歷了種族歧視。當他回到華埠時，必須跑得非常快，因為白人孩子會向他扔石頭，這些都是祖父留給我們孩子最生動記憶。」
多年前，聖荷西市府及華人歷史團體合作，在距離日本城不遠的最後一個華埠所在地建造了海因維爾公園，紀念約翰．海因倫的貢獻，並突出聖荷西華人社區的歷史。由聖荷西歷史博物館和中國歷史文化項目聯合發展的五聖宮，也承載了南灣聖縣華裔美國人的故事。「五聖宮」意為「五神廟」，因供奉觀音、財神、城隍、關公和天后五尊神像而得名，該博物館還原了原始五聖宮（五神廟）的建築，並展示了從19世紀中葉到今天華裔美國人在聖他克拉谷的經歷。
該博物館位於聖荷西Senter路1650號的歷史公園內，疫情後每月第一和第三個周日開放，時間為中午12時至下午5時。博物館免費入場，但特殊活動期間可能會收取公園入場費，前往之前建議先查詢。
