孔子在鲁定公十三年（公元前497年）春天带领他的学生们离开鲁国之后，先是到了卫国，住在学生颜庚府中。卫灵公并没有重用孔子，只是因为孔子名声大，就按照一年六万斗粮食的俸禄将孔子一行人安顿了下来。然而，由于公叔戌叛逃鲁国事件的牵连（详见《第十一卷定公宋17：卫太子蒯聩出逃，鲁定公病逝》），在卫国只呆了十个月的孔子被迫和弟子们选择了离开。
鲁定公十三年底，孔子和他的弟子们离开卫国时，选择的目的地是陈国。同行之中还有陈国贵族青年公良孺，他仰慕孔子的道德学问，想拜孔子为师。公良孺出身陈国世家大族，在陈国有一定的势力，这次又以五辆车驾跟随孔子出行。陈国是孔子的老师李聃（李耳，又称老子）的故国，陈国的宛丘相传是“太皞之墟”，而且从卫国往南，距离不是很远，就能到达陈国；因此，孔子很愿意前往陈国。然而，孔子一行途径位于濮水南岸的郑国匡邑时，孔子却被当地民众当作鲁国的阳虎扣留了。公元前504年（鲁定公六年）时，阳虎曾率领鲁军攻占了郑国的匡邑，而孔子和阳虎又长得比较像，因此才被困在了匡邑。几天之后，匡邑民众弄清了真相，发现抓错人了，才将孔子等人放行。
孔子惊魂甫定，决定先不去陈国了，返回卫国休整一下再做打算，但当他们走到濮邑时，又遇上了麻烦。濮邑在匡邑东北，是卫国公叔氏采邑。此时被卫国驱逐的公叔戌正在濮邑对抗卫国公室，见到孔子带领弟子们要去卫国，便要扣押他们。陈国贵族公良孺和孔子学生子路等人与濮邑前来扣押他们的人大打出手、激战一场。濮邑之人见孔子一行人决不示弱，就说道：“只要你们不去卫国都城帝丘，就放你们过去！”孔子当场答应，但是离开濮邑后，孔子还是命大家继续北行，前往帝丘城。
卫灵公听说孔子又回来了，而且孔子和弟子们还在濮邑与公叔戌的人大战了一场，这更解除了卫灵公对孔子的怀疑，卫灵公亲自前往帝丘郊外迎接孔子。孔子回到帝丘后，住在了他一直非常景仰的大夫蘧伯玉府中。卫灵公的夫人南子素闻孔子大名，也派人召孔子入宫相见。孔子非常为难，这南子夫人名声不好，她和宋国的公子朝私通，卫灵公还不闻不问。孔子推辞不过，只好前往宫中拜见南子夫人，孔子向帷帐之后的南子夫人行礼后，南子在帷幕之后回礼，身上佩戴的玉器发出铿锵悦耳的响声，孔子没说几句话就赶紧退了出来。
孔子在卫国留居了三四年，一直也没有得到卫灵公的重用，也就萌生了再次离开卫国的想法。此时晋国叛乱的中行氏家臣、中牟之宰佛肸邀请孔子和他身边德才兼备的众弟子去中牟，孔子斟酌之后没有去，他想去投奔晋国正卿赵鞅，于是率领众弟子离开了帝丘，准备从棘津渡过黄河，前往晋国。走到黄河边时，孔子听说赵鞅诛杀了晋国贤大夫窦鸣犊和舜华，便对收留了鲁国罪臣阳虎的赵鞅感到非常失望，于是带领众弟子又返回了卫国都城帝丘，还是住在蘧伯玉的家里。
卫、晋两国关系对立，因为卫国跟随齐国支持晋国叛臣范氏、中行氏，多次与晋国兵戎相见。孔子要离开卫国去晋国投奔赵鞅，即使此行未成而返回卫国，卫灵公也很不满意。
鲁哀公二年（公元前493年）四月，在位四十二年的卫灵公去世了，卫国扶立原太子蒯聩之子公子辄为国君，史称卫出公；而公子辄的父亲，原太子蒯聩在晋国赵鞅的扶持下返回卫国争夺国君之位，卫国乱作一团。孔子向来主张“危邦不入，乱邦不居”，因此他在这年秋天带领弟子们离开了几进几出、客居四年多的卫国，想再次前往陈国。这一年孔子五十九岁。
孔子曾担任鲁国的大司寇，代行执政之职，他的学说早已名闻天下，弟子之中人才济济，因此他们一行人，对于任何诸侯国的国君来说，都是不可多得的治国群体；但是除了各诸侯国的国君以外，真正掌权之人其实并不欢迎孔子，他们都把孔子视作对自己权力的一种威胁。孔子师徒在卫国的经历，已经证明了这一点。
孔子在去往陈国的路上，要经过曹国和宋国。宋国是孔子先祖受封的国家，也是孔子夫人亓（qí）官氏的家乡。孔子年轻时曾到宋国考察殷礼，如今阔别三十年了，他再次来到宋国，倍感亲切。宋景公听说大名鼎鼎的孔子来到了宋国，还带来了众多才干出众的学生，就想重用孔子，但是受到了他的宠臣、大司马桓魋（向魋）的劝阻，向魋担心孔子师徒会取代他的权势，他对宋景公说：“孔子在鲁国担任大司寇，代行相事，位极人臣，却要辞官出走，可见其野心不小。他在卫国五年，卫灵公对他敬而不用，是因为看透了他。宋国不及卫大，不如鲁强，而孔丘不请自来，狼子野心岂不昭然若揭？”宋景公说：“孔子是当今圣人，哪会犯上作乱？眼下宋国正是用人之际，有他们这班文武干才，岂不可以对外征战、对内安邦？”桓魋则道：“国君如果对孔丘师徒委以重任，他们一旦发难，谁能抵御？这无异于引狼入室啊！”
桓魋还听说孔子对他的评价很是不好，因为他命令工匠为自己建造大型石椁，劳民伤财。孔子说他“奢侈浪费，不知爱惜民力财物。这样的人死后不如早点烂掉才好！”桓魋于是派人将孔子师生经常演习礼仪的一处大树连根拔掉，还扬言要加害孔子。孔子觉得在宋国呆不下去了，于是和弟子们赶快离开了。宋景公得知此事后，怏怏不快，对桓魋也生了嫌隙。
鲁哀公二年（公元前493年），孔子和弟子们在宋国受到宋国司马、奸臣桓魋的迫害，为了安全起见，急匆匆地离开了宋国。为了防备桓魋派人追杀，他们改变了原定前往陈国的计划，突然改道向西，奔郑国而去；孔子和学生们化整为零、分成几个小组，连夜而出。由于师徒们是分头行动的，孔子和弟子们走散了，他按照事前约定，独自一人在郑国都城新郑的东门附近等待与弟子们会合。子路等人已经先行进城，正在焦急地四处寻找老师孔夫子。一位郑人告诉子路：“东门那边站着一个人，他的额头像唐尧，脖子像皋陶，肩膀像子产，可是从腰以下比禹短了三寸；一副疲惫不堪的样子，像一只失去主人家的狗。”子路他们连忙跑到郑国东门，果然见到孔子正在那里四处张望，师徒终于再次相聚。
到郑国本来就不在行程计划之内，孔子他们在新郑稍作休整，便又向陈国进发了。陈闵公听说孔子远道而来，在孔子一行到达陈国不久就召见了孔子，而且待如上宾。陈国大夫司城贞子久慕孔夫子大名，把孔子师徒接到了自己的府中居住。后来陈闵公又吩咐把陈国都城里最好的馆驿收拾出来安顿孔子等人，然而，陈国也并没有授予孔子实际官职。
鲁哀公三年（公元前492年）五月，鲁国王宫发生火灾，大火烧毁了鲁桓公庙和僖公庙。孔子在陈国听说鲁国宫内失火，直接推断说“一定是桓、僖二公之庙被烧毁了吧”，因为这两座庙本不该保留（根据周礼，诸侯只保留自始封国君往下的五代国君之庙，桓公和僖公不在鲁国前五代国君之列）。然而鲁国是三桓当政，而三桓都是鲁桓公的后代，他们自僖公在位时开始掌控鲁国政权，因此鲁国一直保留了桓公庙和僖公庙。孔子渊博的学识让陈闵公惊讶不已。有一次，一只受伤的大隼（鸷鸟）中箭落在陈国的宫廷之中死了，大隼被一支长一尺八寸的箭穿过身体，箭头是用石头磨制的，陈闵公没见过这种箭，就派人向孔夫子请教。博学的孔子说：“这箭来自遥远的北方，名叫肃慎氏之矢。昔日周武王克商，令四方进贡当地特色品物，北方肃慎氏进贡此种箭矢。武王将其赏赐与陈国始封国君虞胡公。国君可派人在府库中寻找，定能寻得。”果然，陈闵公派人在宫内府库中的一个金属匣子中找到了“肃慎氏之矢”。肃慎氏，就是今天满族人的祖先，居住在长白山、兴安岭之间。陈闵公赶到非常惭愧，我陈国自创始以来就存于府库中的珍贵文物，寡人作为国君都不知，而这位孔夫子却能随口道来，佩服之至啊！
陈国处于吴、楚两国之间，由于吴楚之间连年交战，陈国深受其害，孔子觉得无法继续留在陈国了，就和学生商定，准备南下去楚国。
公元前489年（鲁哀公六年），吴王夫差率军伐陈，楚昭王亲自率领楚军救援陈国，于当年七月死于军中，楚军只好撤军回国，为楚昭王办理丧事。吴军乘机兵临陈国都城宛丘城下。孔子师徒在这种紧张的气氛中，慌慌张张地逃离了宛丘城。由于是仓皇逃离，他们并未随身携带多少粮食。一路上兵荒马乱，粮食很快就吃光了，众人忍饥挨饿已经四五天了。子路到处去寻找食物，但总是空手而归，他对孔子发牢骚说：“君子也有穷途末路之时吗？”
孔子答道：“君子处境困窘之时，仍会心志坚定、把持自己；而小人困窘之时就什么事都做得出来了。”孔子知道弟子们此时都懊恼不平，于是对大家说：“《诗》曰：‘匪兕匪虎，率彼旷野’（不是犀牛也不是老虎，为什么偏偏巡行在旷野之中？）难道是我的学说有什么问题吗？我为什么会落到这个地步？”
子路答道：“想必是我们的仁德还不够吧？所以人们不相信我们；想必是我们的智谋不足吧？所以别人会不放我们前行。”
孔子道：“有这个道理吗？仲由（子路），假使有仁德便能赢得信任，那么伯夷、叔齐怎会饿死在首阳山呢？假使有智谋就能通行无阻，那王子比干怎会被纣王剖心呢？”
弟子颜回说道：“老师的学说大到极点了，所以天下人都不能容受老师。然而，老师推行自己的学说，不被容受又有什么关系？人家不能容老师，正说明老师是一位不曲意迎合的君子呢！一个人的学说不能修治，才是真正的耻辱呢。老师的学说名闻天下，却不被各国采用，是他们的国君和执政卿大夫的耻辱！”
孔子欣慰地笑了，颜回说出了他的心声。他对颜回说：“有这回事吗？颜氏之子呀，假如你有很多财富的话，为师真愿意做你的家宰！”
这时，孔子派去楚国城邑负函求援的学生带回了一车粮食，已经饥饿了七八天的师徒们终于得救了。他们来到楚国的负函城，守城大夫叶公沈诸梁（采邑在距离负函城不远的叶城）早就仰慕孔子之名，亲自出城迎接并设宴款待孔子了一行。
楚昭王得知大名鼎鼎的孔子和学生们来到了楚国，便想把七百里方圆之地封给孔子，令尹子西阻止道：“大王派出的使臣出使各国，有像子贡那样称职的吗？大王的将帅，有像子路那样英勇的吗？大王各部主事之臣，有像宰予那样干练的吗？”
楚昭王摇摇头说：“都没有。”
子西接着说道：“孔丘遵循三皇五帝的遗规，效法周公、召公的德业，大王如果重用了他，让孔丘拥有方圆七百里的土地，他又有那么多贤能的弟子辅佐，那楚国还能世代保有方圆几千里的土地吗？这对楚国可不是什么好事！”
楚昭王听后，只好打消了封地给孔子的念头。孔子听说此事后，对弟子们说：“谁能劝阻子西沽名钓誉呢？心胸要宽广啊，不为利益诱惑；品德要纯洁啊，人的本性是恒定不变的。曲就是曲，直就是直，子西定不能免于灾祸。”孔子的判断非常准确，两年之后，公元前487年（楚惠王二年，鲁哀公八年）楚令尹子西不顾叶公沈诸梁的劝阻，从吴国召回了前太子建的儿子芈胜（就是跟随伍子胥从郑国逃到吴国的公子胜），封他为白县县公，因此芈胜也被后人称作“白公胜”；又过了四年，晋国伐郑，子西率军救郑，激怒了白公胜，因为郑国是他的杀父仇敌。楚惠王十年（公元前479年），白公胜带兵入郢，劫持楚惠王，杀害了令尹子西、司马子期，史称“白公之乱”。
在楚国居住了四年后，公元前485年（鲁哀公十年），孔子师徒一行人离开了楚国，他们从楚国负函城经陈国北上，途径宋国的仪邑回到了卫国，先在蒲城暂歇后，最后又回到了卫国都城帝丘。八年前孔子离开帝丘时，原卫太子蒯聩在晋国的支持下，回到卫国与儿子卫出公争夺国君之位，正是由于卫国内乱，孔子他们才出走他国。八年间，晋国曾在鲁哀公五年（公元前490年）和鲁哀公七年（公元前488年）两次出兵入侵卫国，但都没有实现扶立蒯聩为卫国国君的企图。
孔子等人到达卫国时，卫国父子争权的风波仍未平息。原蒯聩党羽、逃亡到齐国的卫大夫公孟彄由于齐国正在与吴国作战，齐悼公被弑杀，又避乱回到了卫国。卫国朝野对于公孟彄的回归也都猜测纷纷，担心他是为策应蒯聩争夺君位才回来的。本来卫出公此时有意重用孔子，但孔子主张在卫国施政要先“正名”，这让卫出公感到难堪，卫国政坛乌烟瘴气，君不君，臣不臣，父不父，子不子，卫出公心想：“这个时候如果任用孔夫子，他在卫国‘正名’，那不是让寡人让位吗!”于是打消了任用孔子的念头。
孔文子也正是在这个时候为攻打太叔疾征询孔子的意见，孔子看到卫国乱上加乱，也无意继续留在卫国了。孔子羁留卫国的这段时间里，夫人亓官氏去世了，孔子感到了无尽的哀伤，一股思念故国之情油然升上心头。这一年(鲁哀公十一年，公元前484年）艾陵之战吴、鲁联军战胜齐国，鲁国执政季康子派人带着厚礼邀请孔夫子返回鲁国，孔子远离故国这么多年，更是思乡心切，于是率领众弟子高高兴兴地回到了鲁国。这一年孔子已经六十八岁了，说是周游列国，其实也是推行自己的学说，在其他国家寻求施展才能的机会，但终究没有实现愿望，长达十四年的羁旅生涯就这样结束了。