初期的孔庙是很简陋的，与住宅联在一起，孔子一生俭朴，仅有故宅三间。
他死之后，其后裔在简陋的故宅中奉祀孔子，才依庙建宅。
再后来，随着孔子地位及其子孙官位的升高，孔氏住宅日益扩展，
曹魏时期，又于庙外“广为屋宇，以居学者”，设教讲学。
到北宋末期，孔氏后裔住宅已扩大到数十间，有一些规模了。
到金代，孔子后裔住宅在庙东已有“客馆”、“客位”、“斋堂”、“宅厅”、“恩庆堂”、“双桂堂”等建筑，
直到现在，
整个孔府占地约7.4公顷，有古建筑480间，分前后九进院落，中、东、西三路布局。
东路即东学，建一贯堂、慕恩堂、孔氏家庙及作坊等。
西路即西学，有红萼轩、忠恕堂、安怀堂及花厅等。
孔府的主体部分在中路，前为官衙，有三堂六厅，后为内宅，有前上房、前后堂楼、配楼、后六间等，最后为花园。
府内楼堂厅轩栉次鳞比，长廊曲径，扑朔迷离，雕梁画栋，富丽堂皇。
府内存有著名的孔府档案和大量文物，其珍贵程度无可估量。
是中国现存规模最大、建筑最豪华的封建官僚贵族府第，号称“天下第一家”。
据说，1936年孔家的大当家孔寿成结婚时，对孔府作了一次较全面的整修。
