Šiuo metu tvarkomas šis valstybės saugomas regioninės reikšmės kultūros paveldo objektas – klebonijos pastatas. Numatyta atlikti stogo kapitalinį remontą, priestato pritaikymo darbus (tualeto ir šildymo sistemos įrengimas), fasado remonto ir restauravimo darbus. Tvarkybos darbų rangovas – UAB ,,In start“, tvarkybos darbams vadovauja atestuotas nekilnojamojo kultūros paveldo apsaugos specialistas Audrius Janušauskis, projektą parengė atestuotas nekilnojamojo kultūros paveldo apsaugos specialistas Aurimas Vegris. Atlikti archeologiniai tyrimai.

Klebonijos pastatas (unikalus kodas Kultūros vertybių registre 10917), kuriame 1990 m. buvo įkurtas brolių Antano ir Jono Juškų etninės kultūros muziejus (dabar Kauno rajono muziejaus padalinys) pastatytas buvusios klebonijos vietoje. Klebonijos paskirtį pastatas išlaikė iki 1892 m., kai po gaisro bažnyčia ir klebonija buvo pastatyti kitoje vietoje.

Iki atsikėlimo į Vilkiją A. Juška mokėsi Kražių gimnazijoje, 1843 m. baigė Vilniaus kunigų seminariją, kunigavo įvairiose parapijose: Antazavėje, Obeliuose, Zarasuose, Pušalote. Apie 1850 m. persikėlė į Ukmergę, ten dėstė progimnazijoje, ėmė užrašinėti lietuvių šnekamosios kalbos žodžius, rinko smulkiąją tautosaką. 1865–1871 m. kunigavo Veliuonoje, būdamas altaristas gyveno Alsėdžiuose.

Vėliau pradėjo užrašinėti lietuvių liaudies dainas su melodijomis. Alsėdžių, Pušaloto, Veliuonos, Vilkijos apylinkėse užrašė apie 7000 dainų ir apie 2000 melodijų, aprašė veliuoniškių ir pušalotiečių vestuvių apeigas. Svarbiausius užrašymus paskelbė knygose Lietuviškos dainos (3 t.), Svotbinė rėda veliuonyčių lietuvių (1880), Lietuviškos svotbinės dainos (2 t.). Krokuvoje 1900 m.  išleistas A. Juškos surinktų lietuvių liaudies dainų melodijų rinkinys (Melodje ludowe litewskie). A. Juška įtvirtino tautosakos rinkimo ir publikavimo principus (tekstų autentiškumas, pateikėjų metrikos), jo tautosakiniai darbai turėjo įtakos XIX a. lietuvių literatūros plėtotei.

Parašė Lenkų–lietuvių žodyną (Słownik polsko–litewski, apie 7000 žodžių, 1853–54), apie 1875 m. – Latvių–lietuvių–lenkų žodyną (apie 6000 žodžių; neišspausdintas), 1863 m. parengė elementorių Abecela, arba Lementorius dėl mažų vajkelių.

Didžiausias A. Juškos darbas – Lietuvių–lenkų žodynas (30 000 žodžių su šnekamosios kalbos sakiniais), jo dalį, redaguotą J. Jablonskio, K. Būgos, J. Šlapelio su pridėtais lietuviškų žodžių vertimais rusų kalba išleido Peterburgo mokslų akademija: 1 dalis išspausdinta 1897 m., 2 dalis – 1904 m., 3 dalis – 1922 m.

Prie dainuojamosios tautosakos surinkimo daug prisidėjo ir Antano brolis mokytojas Jonas Juška. Abu jie 1867 m. Sankt Peterburge išspausdino 33 dainų rinkinėlį lietuvių ir rusų kalbomis „Lietuvių liaudies dainos“, 1880–1882 m. išleido tritomį „Lietuviškos dainos“, 1883 m. – „Lietuviškos svotbinės dainos“. Abu broliai Juškos įnešė didelį indėlį į lietuvybės gaivinimą carinės okupacijos metais, surinko ir išsaugojo ateities kartoms dainuojamosios tautosakos lobyną, kuris ir iki šiol sklinda žmonių atmintyje, perduodamas iš lūpų į lūpas.

Už dalyvavimą 1863 m. sukilime A. Juška buvo suimtas ir kalintas 9 mėnesius. 1879 m. išvyko pas brolį į Kazanę.  Miręs 1880 m., ten buvo ir palaidotas, 1990 m. buvo perlaidotas Veliuonoje.