我的理念无法实行，这都是命运啊！”然后拿起琴唱道：“彼妇之口，可以出走。彼女之谒，可以死败。优哉游哉，聊以卒岁！”唱歌完毕后，孔子便整理行装离开鲁国。子路和冉有也辞去官职跟随孔子离开。从此，鲁国再度衰败。史官有诗说：“几行红粉胜钢刀，不是黎弥巧计高。天运凌夷成瓦解，岂容鲁国独甄陶。”
孔子离开鲁国后，去了卫国。卫灵公很高兴地接待了他，询问他有关战阵的事情。孔子回答说：“我还没有学过这方面的知识。”第二天他就离开了卫国，经过了宋国的匡邑。当地的人们一直怨恨一个叫阳虎的人，看到孔子的相貌与阳虎相似，误以为阳虎回来了，于是聚集在周围把他围住。子路想要出战，但孔子制止他说：“我对匡邑的人没有恶意，他们一定有自己的理由，很快就会自己解决的。”于是孔子安坐着弹起了琴。后来卫灵公派人追回孔子，匡邑的人们才知道误会了，便道歉后离开了。孔子又回到了卫国，在贤大夫蘧瑗家中寄宿。
话说卫灵公的夫人南子，是宋国的公主，长得美丽而且风骚。在宋国的时候，她与公子朝相爱，公子朝也是男子中的美男子，两人互相爱慕，感情超过了一般的夫妻。南子嫁给卫灵公后，生下了蒯瞆，蒯瞆长大成人后，被立为世子，但南子与公子朝的旧情仍然不断。当时，还有一个美男子叫弥子瑕，他一直得到卫灵公的宠爱，曾经有一次，他吃了半个桃子，然后把剩下的一半递给卫灵公吃。卫灵公很高兴地吃了弥子瑕给他的桃子，并向别人夸耀说：“子瑕对我真是太好了！一个桃子味道鲜美，他舍不得自己吃，而是分给我吃。”群臣们都暗自发笑。弥子瑕仗着卫灵公的宠爱，为所欲为。卫灵公虽然在外面宠爱弥子瑕，但在家里却害怕南子，总是想方设法讨好她。于是，卫灵公经常召集公子朝和南子相会，这种丑事传得人人皆知，但灵公却不觉得羞耻。蒯瞆对这件事深恶痛绝，于是让他的家臣戏阳速在公子朝拜见灵公的时候，刺杀南子，以消除这个丑闻。南子察觉到这个阴谋，向灵公告状。灵公于是驱逐蒯瞆，蒯瞆逃到宋国，然后又逃到晋国。灵公立蒯瞆的儿子辄为世子。当孔子再次来到卫国时，南子请求拜见孔子。她知道孔子是圣人，所以对他特别尊敬。有一天，灵公和南子一起乘车出门，让孔子坐在旁边的车上。当他们经过市区时，市场上的人们唱着：“同车者色耶？从车者德耶？”
孔子叹道：“卫灵公你对道德的追求不如追求色欲！”于是孔子离开卫国，前往宋国，在一棵大树下与弟子们学习礼仪。宋国的司马桓魋曾因为美貌而得到景公的宠爱，现在他正处于权力巅峰，但是他忌恨孔子的到来。于是他派人砍伐了孔子学习礼仪的那棵大树，还想杀害孔子。孔子得知消息后，换上便装离开宋国，前往郑国。孔子准备前往晋国，当他到达河边时，听说赵鞅杀了贤臣窦犨和舜华，他叹息道：“鸟兽都会厌恶伤害自己的同类，何况是人呢？”于是他返回了卫国。没过多久，卫灵公去世，国人立蒯瞆的儿子辄为国君，这就是卫出公。蒯瞆也借助晋国的力量，与阳虎袭击戚地并占据了它。那时，卫国发生了父子争位的事件，晋国支持蒯瞆，齐国支持辄。孔子厌恶这种违反礼理的行为，于是再次离开卫国，前往陈国，又准备前往蔡国。楚昭王听说孔子在陈国和蔡国之间，于是派人去聘请他。陈国和蔡国的大夫们商议后认为，如果楚国重用孔子，那么陈国和蔡国就会危险了，于是他们联合出兵，在野外包围了孔子。孔子在断粮三天后，仍然坚持弹琴唱歌。现在河南开封府陈州地区有一个地方叫桑落，那里有一座台子，叫厄台，就是孔子当时断粮的地方。宋朝的刘敞有一首诗这样写道：“四海栖栖一旅人，绝粮三日死生邻。自是天心劳木铎，岂关陈蔡有愚臣。”
有一个晚上，突然出现了一个身高九尺以上的怪人，穿着黑色衣服，戴着高高的帽子，披着铠甲，手持长戈，向孔子大喊大叫，声音震动着四周。子路带着他出去在庭院里战斗，但是那个怪人非常强壮，子路无法战胜他。孔子从旁边静静地观察了一会儿，对子路说：“你为什么不试着探一下他的胁下？”于是子路依照孔子的建议去探那个怪人的胁下，那个怪人的力气就耗尽了，手垂下来，最终被打败倒在地上，化为一条大鲇鱼。弟子们都非常惊讶。孔子说：“所有的生物老化衰败后，就会被群魂附身。把它们杀死，也就结束了，没有什么奇怪的。”他吩咐弟子们将那条大鲇鱼烹煮来充饥。弟子们都非常高兴，说：“这是上天赐予我们的！”楚国的使者派兵去迎接孔子。孔子到达楚国后，昭王非常高兴，打算用一千社的地盘封孔子。令尹子西劝谏
