Prvním doloženým majitelem domu byl od roku 1494 jistý Beneš z Trničí, který byl zlatníkem. Již v roce 1496 se však „odevzdal dědicky domu“ Václavovi,

pregéři z Ferdinandovského domu.

Jakub koupil dům v roce 1509 a, i když se mnoho jeho děl nedochovalo, je považován za jednoho z nejpřednějších umělců své doby. Byl dodavatelem umělecké výzdoby pro chrámy sv. Barbory i sv. Jakuba v Kutné Hoře.

Od roku 1528 se majitelem domu stal Jan Horský - Sedlář, který se však dostal do finančních problémům protože ručil za dluhy jisté Anežce Slavíkové a byl nucen dům vyměnit za jiný.

Výměnou s Janem Sedlářem dům získali Veverinové, kteří jej vlastnili až do roku 1600. Veverinové byli povýšeni do šlechtického stavu v roce 1570 a získali i erb.

Koupil dům od Veverinů za 250 kop grošů. Byl to písař, který se zabýval později také hornictvím a roku 1612 se stal dokonce hofmistrem.

Po období Třicetileté války, kdy dům byl opuštěn se jej ujala rodina Janovků, kteří neměli nouzi o dědice. Theofil Janovka ve svém kšaftu zmiňuje dokonce 12 dětí.

Wildhalmovi se stávají majiteli v roce 1832 a až do roku 1922 se jako vlastníci střídají různí příbuzní této rodiny s příjmeními Zänger a Zeman.Po roce 1922 se dům stává postupně majetkem různých bank, až roku 1958 přechází do vlastnictví MNV v Kutné Hoře.