蘇子高事平，王、庾諸公欲用孔廷尉為丹陽。亂離之後，百姓雕弊，孔慨然曰：“昔肅祖臨崩，諸君親升禦床，並蒙眷識，共奉遺詔。孔坦疏賤，不在顧命之列。既有艱難，則以微臣為先，今猶俎上腐肉，任人膾截耳！”於是拂衣而去，諸公亦止。

　　天子者，与天地参。故德配天地，兼利万物，与日月并明，明照四海而不遗微小。其在朝廷，则道仁圣礼义之序；燕处，则听雅、颂之音；行步，则有环佩之声；升车，则有鸾和之音。居处有礼，进退有度，百官得其宜，万事得其序。《诗》云：“淑人君子，其仪不忒。其仪不忒，正是四国。”此之谓也。发号出令而民说，谓之和；上下相亲，谓之仁；民不求其所欲而得之，谓之信；除去天地之害，谓之义。义与信，和与仁，霸王之器也。有治民之意而无其器，则不成。

　　桓玄詣殷荊州，殷在妾房晝眠，左右辭不之通。桓後言及此事，殷雲：“初不眠，縱有此，豈不以‘賢賢易色’也。”