Aż trzynaście lat mieszkał w modlnickim dworze, u gościnnej rodziny Konopków, jeden z najwybitniejszych polskich badaczy kultury ludowej – Oskar Kolberg. Jeszcze za młodzieńczych czasów zaprzyjaźnił się z Józefem Konopką, ziemianinem, ale też pasjonatem etnografii. Widząc wyjątkową pasję przyjaciela – gromadzenie i systematyzowanie wszelkich informacji o mieszkańcach wsi na ziemiach polskich według regionów, ze szczególnym uwzględnieniem muzyki, gdyż Kolberg ukończył studia muzyczne – zachwycił się jego pracą i zdecydował, że może naukowcowi zapewnić wygodny byt. Co więcej, w żmudnej pracy zbieracza opowieści ludowych pomagała mu siostra gospodarza, Antonina Konopczanka, która skrupulatnie notowała w swoim raptularzu kolejne ciekawostki. I ten raptularz zachował się nawet do naszych czasów. To głównie w Modlnicy Kolberg napisał liczące kilkadziesiąt tomów dzieło swojego życia zatytułowane Lud. Jego zwyczaje, sposób życia, mowa, podania, przysłowia, obrzędy, gusła, zabawy, pieśni, muzyka i tańce. A śladem pamięci po pobycie Kolberga w Modlnicy może być choćby znana miejscowa przyśpiewka: „Ciesy się pan Kolbr, ze idziemy z pola, ciesy się i Gacka, Maryna, Antola”.

Kiedy Kolberg wprowadził się do modlnickiego dworu w 1871 roku, budynek – w postaci, jaką dziś znamy – stał już niemal sto lat. Zaprojektował go Karol Kriszkier na planach starszej renesansowej budowli. W latach 20. XIX wieku Konopkowie przebudowali go w duchu klasycyzmu. Mówią nam o tym fasada, detale, ornament, bo budowla przetrwała w takiej formie do dziś.

W 1959 roku dwór przekazano Uniwersytetowi Jagiellońskiemu i z okazji jubileuszu 600-lecia uczelni w latach 1960–1964 starannie odnowiono z zachowaniem wszystkich cech minionej epoki.