II. Rákóczi Ferenc fejedelem birtoka volt Varsány, ahol 1704 és 1706 között vadászkastélyt épített. A szabadságharc bukását követően a Kincstár elkobozta Rákóczi összes birtokát. 1721-ben Csernyánszky Ferenc főtisztviselő vásárolta meg a varsányi kastélyt, aki hamarosan a maróthi Paluska családnak adta tovább. A család egyik leszármazottja, Paluska Julainna fia, nagyményai gróf Koller Ferenc királyi személynök 1781-ben királyi adományként kapta meg a birtokot. Halála után nővére fia, vicsapi báró Malonya Nep. János örökölte a kastélyt. Az utód nélkül elhunyt Malonyay uradalma visszaszállt a Kincstárra 1837-ben, amelyet bérletként hasznosítottak. Majd az 1880-ban létrejött Felsővarsány településnek átengedték a kastély, a magtár és a kertészlak épületét is. A község székházát, a helyi iskolát és a templomot itt rendezték be. Egy évtized alatt a kastély állaga leromlott. Annak ellenére, hogy a Történelmi Társulat és a közvélemény a kastély felújítása mellett kardoskodott, a község vezetősége a kastély lebontása mellett döntött 1893-ban. Az egykori főúri épület anyagából emelték fel a községházát és a jegyzői lakást, a magtár köveinek felhasználásból épült fel az új iskola. 1954-ben a helyi általános iskola homlokzatán helyeztek el egy emléktáblát. Az egykori varsányi Rákóczi-kastély sorsát egy epigrammába sűrítették össze: "Várpalotád romjait idehoztuk s vár leve újra. / A népiskola most nemzeti létrafokunk ./ Zászlód leng ormán s szellemed ül diadalmat, / Még a falak között él gyermekeink serege." A Faluház helytörténeti gyűjteményben még őriznek az egykori kastélyból téglákat és stukkórészleteket, valamint az épület makettjét is, amely Balázs Antal restaurátor munkája. A Kastélydombon álló téglalap alaprajzú kastély főhomlokzata előtt oszlopos tornác húzódott. A Tisza felé néző oldalon kiugró, fedett előcsarnok állt. Kósa Károly felvétele