Grad stoji na okljuku reke Lahinje in je bil v pisnih virih prvič omenjen leta 1326 kot Gräcz. Na začetku 17. stoletja je bil v lasti znane in premožne italijanske plemiške rodovine grofov Thurn-Valsassina. Leta 1692 je prišla gospoščina v roke plemenitih Burgstallov, lastnikov gradu Krupa in Pobrežje. Ob koncu stoletja je bil grad last rodovine Gusić.
V grajskem parku se nahaja grobnica s kamnitim sarkofagom leta 1831 umrlega Jurija Gusića, predzadnjega lastnika, ki je ob prezidavah gradu vtisnil svoj pečat. Leta 1846 je grad kupil Franc vitez Fridau, ki je v Gradcu leta 1858 zgradil železolivarno s plavžem in jo oskrboval z železovo rudo, nakopano v Beli krajini. Železolivarna je delovala do leta 1882, nato se je zamenjalo še nekaj lastnikov - zadnji med njimi je bil, pred drugo svetovno vojno, zagrebški trgovec Šutej.
Med drugo svetovno vojno je bila v gradu partizanska bolnišnica, v letih 1944/45 pa tudi oficirska šola VDV. Po vojni je bila v njem šola za težko vzgojljive mladostnike in nato kmetijsko-gospodinjska šola, dokler niso po letu 1956 v njem uredili stanovanja.
Viri: TD Vigred Metlika