Huset blev bygget som enkesæde i 1930’erne af greve Adolph Ludvig Brockenhuus-Schack. Han havde giftet sig med den borgerligt fødte sygeplejerske Kirstine Marie, som var en del yngre end ham.
Han var godt klar over, at hun efter hans død ikke ville kunne blive boende på Gram Slot. Derfor byggede han Gramhus til hende.
Adolph Ludvig Brockenhuus-Schack døde i 1938 og blev begravet i slotsparken, men først i 1940 flyttede enken ind i Gramhus, som ned til de mindste detaljer var tegnet af arkitekt Gotfred Tvede. Kirstine Marie Brockenhuus-Schack dør 1957 og begraves i parken ved siden af greven.
Gramhus, som det gamle enkesæde fra 1930’erne er blevet døbt. En stor, rød og elegant murstensbygning, der må siges at have en noget omtumlet historie.
Ud over at være hjem for enkefrue Kristine Marie brockenhuus-schack blev bygningen under anden verdenskrig brugt til at huse tyske officerer, og fortællingen går, at den indflydelsesrige tyske feltmarskal Erwin Rommel engang overnattede i huset, efter at han havde været ovre på vestkysten for at besigtige tyskernes
Forsvarsanlæg.
Bygningen er i dag i privateje.
