Od wieków ten dwór był w rękach miasta. Po wieloletniej batalii sądowej trafił w ręce fundacji i dziś nie można go zwiedzać

Powstał w nieistniejącej już dziś wsi Czarne, wchłoniętej administracyjnie przez miasto Jelenia Góra, z inicjatywy Caspara Schaffgotscha. O jednym z potomków śląskiej arystokracji wiadomo niewiele. Rodzina  Schaffgotsch była w posiadaniu rozległych terenów, znajdujących się w Sudetach, a obejmujących Karkonosze i Góry Izerskie oraz odgrywała znaczącą rolę również w świecie ówczesnej polityki.

Majątek, należący do Caspara powstał w 1559 roku, ale niedługo stanowił jego własność. Właściciele na przestrzeni kilkudziesięciu lat zmieniają się pięciokrotnie. Ostatni z nich,  Ernst von Nimptsch , decyduje się odsprzedać włości miastu Jelenia Góra. Obecnie właścicielem jest Fundacja Kultury Ekologicznej (założonej przez Jacka Jakubca), choć o mały włos zabytkowy dwór nie trafił w niepowołane ręce z uwagi na nielegalną działalność wrocławskich biznesmenów. Jak do tego doszło? Po upadku komunizmu miasto zdecydowało w 1991 roku przekazać dwór pod opiekę fundacji, która przez lata prężnie działała, pozyskując także środki unijne na swoją działalność. W 2011 roku zdecydowała o poszukiwaniu inwestorów. Do zarządu zgłosili się dwaj przedsiębiorcy. Biznesmeni nie mieli dobrych intencji i szybko założyli bliźniaczą fundację, która miała przejąć, a następnie sprzedać obiekt. Na szczęście ich działania zablokował sąd, a oni sami zostali skazani na karę więzienia w zawieszeniu. 

Aktualnie, od  8 czerwca 2021 r., dwór znajduje się pod opieką Fundacji Kultury Ekologicznej, ale nadal trwają postępowania sądowe, które uniemożliwiają dostęp do obiektu. W części zabytkowego budynku nadal mieszka Jacek Jakubiec, który mianował się kustoszem budynku. Jego wizja dotyczyła nie tylko odrestaurowania zamku, ale też rewitalizacji całego otoczenia (dawne budynki folwarczne, parki, ogrody). Jakubiec planował stworzyć tu duży ośrodek naukowo-edukacyjno-gospodarczy, który dawałby ok. 100 miejsc pracy.

Dwór z kamiennym mostem dawniej otoczonym fosą to przykład renesansowej budowli obronnej, które budowano w tamtych czasach na terenie Śląska. Mimo niebywałego bogactwa zabytkowy obiekt oraz otaczający go park można oglądać tylko z zewnątrz.