만휴정은 보백당(寶白堂) 김계행(金係行) 선생이 71세(1501년) 때 지은 정자다. 김계행은 49세에 대과에 급제하고 50세의 늦은 나이에 벼슬살이를 시작했다. 나이 많은 급제자를 우대하는 정책으로 곧바로 6품직에 올랐다. 사헌부 감찰을 시작으로 성균관 대사성 홍문관 부제학 이조참판 대사간 대사헌까지 올랐다. 부조리한 정치현실을 비판하는 상소를 끊임없이 올렸기 때문에 사임과 취임을 반복했다고 전해진다.

벼슬살이를 하기 전 41세에 동갑 나기 절친인 김종직과 ‘주역’ ‘근사록’을 강론하며 도의지교를 맺었고 그 후 서로 시와 편지를 주고받거나 먼 길을 찾아가며 만나는 등 우의를 다졌다. 김종직과 동갑나기 절친이었던 그는 무오사화에 연루돼 성희증 조호문 등 10명과 함께 태장을 맞고 석방됐다. 김종직은 부관참시당하고 김종직의 제자 김일손은 처형당했다. 무오사화로 인해 많은 사람이 죽고 유배를 갔다.

이후 김계행은 다시 대사간에 임명된다. 연산군의 처남 신수근과 노사신 등이 그를 또 흔들어댔다. 김계행은 사간원에 재직하면서 신수근 등 외척과 내시의 비리를 직소했는데 척신들에게 박힌 미운털이 그를 괴롭혔다. 이번에 국청까지 열렸으나 그는 홀로 방면됐다. 이후 성균관 대사성에 제수됐다가 이조참의 대사헌에 제수됐다. 구속과 잦은 이직으로 하루도 마음 편할 날이 없었다. 김계행이 70세되던 해에 연산군이 다시 지난 사건을 들추어 그를 구금했다. 5개월 동안 옥살이를 했다. 1498년(연산군 4년) 대사간에 올라 權奸(권간)을 극론하였으나 훈구파에 의해 제지되자 벼슬을 버리고 고향인 안동으로 낙향하였다

김계행의 트레이트 마크가 된 ‘오가무보물 보물유청백’과 ‘지신근신 대인충후(持身謹身 待人忠厚) 자기 몸가짐은 삼가고 신중히 하며 남을 대할 때는 진실되고 후덕하게 대하라’라는 현판이 걸려 있다. 만휴정 위 계곡에 새겨진 문구 그대로 ‘내 집에 있는 보물은 오직 청백(맑고 깨끗함)뿐이다’라는 뜻이다. 그의 자는 ‘취사(取斯)’다. 논어 ‘공야장’에서 공자가 제자 복자천을 군자답다고 칭찬하면서 “노나라에 군자가 없다면 이 사람이 어디에서 이러한 덕을 취하였겠는가 魯無君子者, 斯焉取斯”라는 구절에서 땄다.

정자는 정면 3칸, 측면 2칸으로 지어졌다. 정면을 누마루 형식으로 개방해 자연경관을 감상할 수 있도록 하였고, 양쪽에는 온돌방을 두었다. 정자 안에는 김양근의 만휴정중수기와 김양근, 김굉, 이돈우 유도원 김도행 정박등의 시가 걸려있다.