后来，灵公问军队阵法。孔子回答：“礼节方面的事情还曾经听说过，军队方面的事情从未学习过。”第二天，和孔子谈话，看见飞雁，抬头仰望，神色不在孔子。孔子于是离开，又到陈国。
夏季，卫灵公逝世，立孙子辄，这就是卫出公。六月，赵鞅送卫太子蒯聩到戚地。阳虎让卫太子披麻戴孝，八个人身穿丧服，假装是从卫国前来迎接的，哭着进城，于是住了下来。冬季，蔡国迁移到州来。这一年是鲁哀公三年，而孔子已经60岁了。齐国帮助卫国包围戚地，是因为卫国太子蒯聩在那里的缘故。
夏季，鲁桓公、公的庙遭火灾，南宫敬叔救火。孔子在陈国，听到鲁国宗庙着火，说：“火灾必定发生在桓公、公两庙吧！”结果真是这样。
秋季，季桓子得病，坐在人拉的车里察看鲁国都城，十分感慨地叹道：“从前这个国家几乎兴盛起来了，因为我得罪了孔子，所以没有兴盛起来。”回顾他的继承人康子说：“我死了，你肯定执掌鲁国朝政。执掌鲁国朝政，必须召请仲尼。”几天以后，桓子逝世，康子代立。安葬完毕，想召请仲尼。公之鱼说：“从前我们已故的君主任用他半途而废，结果被诸侯耻笑。如今又任用他，不能善始善终，这又会被诸侯耻笑。”康子问：“那么召请谁好呢？”公之鱼回答：“必须召请冉求。”因此派使臣召请冉求。冉求将行，孔子说：“鲁国人召请冉求，不是一般地使用他，而是要重用他。”这一天，孔子说：“回去吧！回去吧！我们那里的学生志大而轻率，表现得文采斑斓，我不知道该用什么办法培养他们。”子赣知道孔子想回去，为冉求送行，就告诫说：“如果被任用，就将孔子请回去。”
冉求走后，第二年，孔子从陈国迁移到蔡国。蔡昭公打算到吴国去，是因为吴国召请他。过去昭公欺骗他的臣属要迁移到州来，后来打算前往，大夫们害怕又要迁移，公孙翩射死昭公。楚国侵犯蔡国。秋季，齐景公逝世。
第二年，孔子从蔡国到叶城。叶公问政治，孔子回答：“政治在于使远方归附、近处顺从。”后来，叶公向子路问孔子，子路不回答。孔子听到后，说：“仲由，你何不回答说，‘他的为人，学习道不知疲倦，教诲人不知厌烦，发愤忘食，乐而忘忧，不知衰老行将到来’，如此而已。”
离开叶城，返回蔡国。长沮、桀溺协同耕种，孔子以为是隐士，派子路去问渡口。长沮问：“那位驾车的是谁？”子路回答说：“是孔丘。”问：“这就是鲁国孔丘吗？”回答说：“是。”长沮说：“这就是知道渡口的了。”桀溺对子路说：“您是谁？”回答说：“是仲由。”问：“您是孔丘的门徒吗？”回答说：“是。”桀溺说：“庸俗的人天下都是，你跟谁去改变他们？况且与其跟随躲避庸人的人，还不如跟随躲避社会的人呢！”仍旧不停地平整土地。子路向孔子报告，孔子失望地说：“不能与飞禽走兽同群。天下都遵循道义，我孔丘便用不着去改变了。”
后来，子路独行，遇见荷丈人，问：“您看见我的老师吗？”老人回答说：“四肢不会劳动，五谷分不清楚，谁是你的老师？”放下他的拐杖便去锄草。子路将这件事报告孔子，孔子说：“是隐士啊。”再返回去，已经不见了。
孔子迁移到蔡国的第三年，吴国讨伐陈国。楚国援救陈国，军队驻扎在城父。听说孔子在陈国、蔡国之间，楚国派人聘请孔子。孔子打算前往拜见致礼，陈、蔡大夫谋划说：“孔子是贤人，针砭的内容都切中诸侯的病痛。现在长期逗留在陈、蔡之间，各位大夫设计施行的都违背仲尼的想法。今天的楚国，是大国，前来聘请孔子。孔子被楚国任用，那么陈、蔡主事的大夫就岌岌可危了。”因此便一齐打发服劳役的人将孔子围困在野外。孔子和弟子不能行动，粮食断绝。跟随的人都病了，没有人能站起来。孔子讲课诵读弹琴唱歌毫不泄气。子路很不高兴地来看望说：“君子也会陷于困境吗？”孔子说：“君子陷于困境仍然坚持到底，小人陷于困境便无所不为了。”
子贡脸色也不好看。孔子问：“赐，你认为我是广泛学习而又牢牢记住的人吗？”答：“是的。难道不是这样吗？”孔子说：“不对。我的言行是由一个基本观念贯串起来的。”
孔子知道弟子们心里很不高兴，于是召见子路而问道：“《诗经》上说：‘不是犀牛和老虎，却在旷野中出没。’我的主张错了吗？我为何落到这个地步？”子路说：“细想起来我们还没有做到仁吧，所以人们不相信我们。细想起来我们还很不明智吧，所以人们阻止我们行动。”孔子说：“果真如此吗？由，假若具备仁德的人就必然得到人们的信任，哪里还会有伯夷、叔齐呢？如果明智的人都必然行动自如，哪里还会有王子比干呢？”
子路退出，子贡入见。孔子说：“赐，《诗经》上说：‘不是犀牛和老虎，却在旷野中出没。’我的主张错了吗？我为何落到这个地步？”子贡说：“老师的主张广大无边，所以天下没有人能容纳老师。老师何不稍微收敛一些呢？”孔子说：“赐，出色的农夫能努力种好庄稼而不能保证获得好收成，出色的工匠能巧夺天工而不能保证人人心满意足。君子能完善自己的主张，使它纲举目张，使它条理分明，但不能保证被人容纳。如今你不完善你的主张却追求被人容纳，赐，你的志向太不远大了！”
子贡退出，颜回入见。孔子说：“回，《诗经》上说：‘不是犀牛和老虎，却在旷野中出没。’我的主张错了吗？我为何落到这个地步？”颜回说：“老师的主张广大无边，所以天下没有人能够容纳。尽管如此，老师将它推广实行，不被容纳有什么坏处！不被容纳更能显出君子的本色！不完善自己的主张，这才是我们的耻辱。自己的主张既然已经十分完善但不被采纳，这是国君的耻辱。不被容纳有什么坏处！不被容纳更能显出君子的本色！”孔子十分高兴地笑道：“果真如此啊！颜氏的孩子，如果你十分富有，我当你的管家。”
于是派子贡到楚军驻地。楚昭王发兵迎接孔子，终于避免了这场危难。
楚昭王准备用700里有户籍的地区分封孔子。楚令尹子西说：“您的出使诸侯的使臣有像子贡这样的吗？”答：“没有。”“您的辅弼大臣有像颜回这样的吗？”答：“没有。”“您的将军有像子路这样的吗？”答：“没有。”“您的行政长官有像宰予这样的吗？”答：“没有。”“况且楚国的先祖受封于周王朝，爵号子男才五十里。如今孔丘陈述三皇五帝的法度，阐明周公、召公的王业，您如果任用他，那么楚国哪里能够世世代代保持堂堂方数千里的领地呢？当年文王在丰地，武王在镐地，只有百里的君主终于称王天下。如果孔丘能够占有领地，又有贤明的弟子作为助手，并非楚国之福啊！”昭王这才打消了分封孔子的想法。这年秋季，楚昭王在城父逝世。
楚国的狂人接舆唱着歌从孔子的旁边经过，唱道：“凤凰啊，凤凰啊，为什么道德如此晦气！过去的无法挽回啊，未来的尚可补弥。算了吧，算了吧，当今的从政者危矣！”孔子下车，想和他交谈。他赶忙离开，孔子无法和他交谈。
因此孔子从楚国返回卫国。这一年，孔子63岁，就是鲁哀公六年（前489年）。
鲁哀公七年（前488年），吴国与鲁国在缯地会见，吴向鲁索要一百头供祭祀用的牛。太宰召见季康子。康子派子贡前往，然后才得以制止。
孔子说：“鲁国、卫国的政事，有如亲兄弟一般相似。”这时，卫君辄的父亲没有被立为国君，流落在外，诸侯屡次对此加以指责。然而孔子的弟子大多在卫国做官，卫君想得到孔子来管理政事。子路问：“卫君等您去管理政事，您准备先做什么？”孔子回答说：“一定要首先辨正名分啊！”子路说：“果真如此的话，您就太迂腐了！这有什么好辨正的？”孔子说：“太放肆了仲由！名分不正那么说话就不成体统，说话不成体统那么事情就办不好，事情办不好那么礼乐就无法提倡，礼乐无法提倡那么刑罚就会失当，刑罚失当那么老百姓连手脚都无处安放了。君子做事必定能名正言顺，说话必定能贯彻执行。君子对于自己的言论，总是毫不苟且，如此而已。”
鲁哀公八年（前487年），冉有替季氏统率军队，和齐国在郎地交战，战胜了齐国。季康子问：“您统率军队的本领，是学来的？还是天生的？”冉有回答说：“在孔子那里学来的。”季康子问：“孔子是什么样的人呢？”回答说：“孔子用兵，师出有名，向老百姓宣讲，向鬼神询问，都感到满意。我在这方面达到的水平，即使能增加千社那么广大的土地，老师也不会给予肯定的。”康子问：“我想召请他，行吗？”回答说：“想召请他，就不要用小人包围他，那才行啊。”卫国的孔文子准备攻打太叔，向仲尼请教计策。仲尼推辞不知道，回来后便下令备车而离开，说：“鸟能够选择树木，树木难道能够选择鸟吗！”文子再三挽留。适值季康子驱逐公华、公宾、公林，用礼物迎接孔子，孔子回到鲁国。
孔子离开鲁国共十四年然后返回鲁国。
鲁哀公问政治，孔子回答说：“政治在于选用臣属。”季康子问政治，孔子回答说：“将正直的人提拔到奸邪的人上面，那么奸邪的人也会变得正直。”康子害怕盗贼，孔子说：“如果您不贪心，即使鼓励他们也不会去偷盗。”但鲁国终究不能任用孔子，孔子也不追求做官。
孔子生活的时代，周王朝衰微而礼乐被废弃，《诗》、《书》残缺。他跟踪寻求夏商周三代的礼制，编辑《书传》，上起唐尧、虞舜之际，下至秦缪公之时，顺序记述他们的事迹。他说：“夏代的礼制我能叙述出来，可惜杞国已不足以证实。殷代的礼制我能叙述出来，可惜宋国已不足以证实。如足以证实，那么我就能引来作证了。”考察殷代、夏代礼制的增减变化，说：“今后即使是一百代的礼制也是可以预知的，根据是都离不开在文采与质朴之间增减变化。周朝的礼制借鉴于夏、殷两代，文采多么丰富啊！我赞同周朝的礼制。”因此《书传》、《礼记》都出自孔氏。
孔子对鲁国太师说：“音乐的概貌是可以预先把握的。乐曲开始演奏，声音十分丰满，展开以后，十分和谐，十分明畅，十分缠绵，一首乐曲到此为止。”“我从卫国返回鲁国，才完成了对音乐的研究和整理，《雅》乐、《颂》乐都各自恢复了原来的面貌。”
古时候，《诗》有3000多篇，直到孔子，删去其中重复的内容，保留可以用于礼义教化的篇章，最早的选录自商代的始祖契和周代的始祖后稷，其次的内容描述了殷代、周代的盛况，直到反映周幽王、周厉王的腐败从淫乱开始，所以说：“《关雎》全篇作为《风》的开始，《鹿鸣》为《小雅》的开始，《文王》为《大雅》的开始，《清庙》为《颂》的开始。”共三百零五篇，孔子都一一弹琴歌唱，目的在于使它们与《韶》、《武》、《雅》、《倾》之音相符合。
礼乐从此以后才能够得以阐述，用来完善王道，构成六艺：《诗》、《书》、《礼》、《乐》、《易》、《春秋》。
孔子晚年喜欢研究《周易》，论述《彖》、《系》、《象》、《说卦》、《文言》。他阅读《周易》，编连竹简的皮绳都断了三次。说：“再给我几年时间，如果能这样，我对于《周易》就可以文质兼备了。”
孔子用诗书礼乐进行教授，弟子差不多三千人，身通六艺的有七十二人。像颜浊邹这样的弟子，接受过长期教育的特别多。
孔子从四个方面教育弟子：书本知识，社会实践，待人忠诚，坚守信用。他克服了四种毛病：不主观，不武断，不固执，不自以为是。他十分小心谨慎对待的是：斋戒，战争，疾病。孔子很少谈论功利、命运和仁德。他教育弟子，不到弟子苦苦思索而不得要领的时候，绝不进行启发诱导；举一件事而不懂得类推以知道更多方面的事，就不再反复讲解了。
孔子在乡里和街市，恭恭敬敬地好像不善言谈的人。孔子在宗庙和朝廷，谈吐头头是道，只是特别小心谨慎罢了。上朝时，同上大夫说话，态度和颜悦色；同下大夫说话，表情严肃认真。走进朝廷大门，表现得十分恭顺，快步向前，显得格外小心。君主叫他去接待宾客，脸露出庄重的颜色。君主下令召见，不等备车已徒步动身。
鱼腐，肉烂，切割不得法，不吃。坐位与身份不符，不坐。在死了亲属的人身旁进餐，从未吃饱过。这一天哭泣过，就不再唱歌。看见穿孝服的人、盲人，即使是孩童，也一定要深表同情。
孔子说：“几个人走在一起，肯定可以找到值得我效法的人。”“不修养品德，不研究学问，听到正义的言行不能看齐，有错误缺点不能改正，这些都是我最为忧虑的。”如果有人唱歌，唱得很好，他就让人家再唱一遍，然后跟着一起唱。
孔子不谈论怪异、勇力、叛乱、鬼神。