纪清远出身于书香世家，是清代大学士纪晓岚的六世孙。做为名门之后的纪清远，其开场白当然就与纪晓岚有关了。
    近几年来，随着清朝电视剧的热播，也使得纪晓岚的名字和传说妇孺皆知，他是纪清远的六世祖，谈到纪清远的家史就从他说起。六世祖名讳纪昀，字晓岚，号春帆，晚号石云，又号观弈道人、孤石老人，世称茶星、纪河间。因其“敏而好学可为文，授之以政无不达”（嘉庆帝御赐碑文），故卒后谥号“文达”，乡里世称文达公。1742年6月15日午时，纪晓岚出生于直隶河间府献县崔尔庄（今属河北沧县）。乾隆丁卯科顺天第一名举人，甲戌科进士改翰林院庶吉士，官至礼部尚书、左都御史、协办大学士。纪文达公50岁时出任《四库全书》总纂官，并主撰《四库全书总目提要》和《四库全书简明目录》。晚年成小说《阅微草堂笔记》24卷；另有《纪文达公遗集》传世。他被誉为乾嘉时代学术界的“泰山北斗”，为保存和整理我国古代文献付出了毕生精力和贡献。

    纪清远的祖父纪堪颐，号彭年，清末举人，也是纪晓岚的四世孙。纪彭年年轻时，时任军机大臣的张之洞派他出国留学，到日本陆军士官学校学习军事。在日学习期间，纪彭年受进步思想影响，追随孙中山先生。加入了同盟会。回国后，他参加武昌起义和讨袁护国战争，被任命为陆军中将。此后，纪彭年和齐白石一起在北京办了所小学。
    纪清远祖母的父亲刘学谦也是清末的二品翰林，家学渊源。纪清远的祖母写得一手好书法，每到春节，家里的春联，都是这位老太太挥毫书写。
    纪清远从小便生长在这样一个文化积淀颇为深厚的家庭之中。受奶奶的影响，纪清远从小就喜好画画和书法。小时，奶奶告诉他，清代大学士纪晓岚是他的先祖，还给他讲一些关于纪晓岚的民间传说。纪清远从那时即知，纪晓岚是个了不起的人物，并牢记了“贫莫断书香”这一遗训。
    纪碧环是纪清远的二姑，她嫁给了齐白石的公子齐良迟。由于祖父和齐白石是亲家，纪清远少时，父亲常带他到齐家玩。齐家那时到处挂着齐白石先生的画作，画中清净的美感，令少年纪清远心颤。他后来说：“满屋的画对一个孩子来说，真是太有裨益了。”
   
    不到十岁，纪清远就开始了学习国画。初期，齐良迟指点过他，纪清远学画的历程还算顺遂。小学四年级时，老师觉得他聪慧可雕，遂悉心培养他，后考入北京市少年宫美术组。受到完好的艺术启蒙教育。纪清远19岁时，父亲又领他拜见著名人物画家蒋兆和先生。蒋先生的代表作是长卷《流民图》。蒋先生向他传授中国人物画的要领……后来他又师从著名人物画家周思聪先生。许多名师的指教为纪清远的中国画创作奠定了坚实的基础。