他曾经想到过要成立**党，只是没有人愿意跟他一块成立这样的组织，而且对**党的宗旨以及性质也知之不多，就没有真正付诸行动。后来，到了广州，才知道中国已经成立**党组织。他很是佩服那些成立**党的创始人，决计要离开国民党，另外投靠**党。
很快，机会来到了他的面前：**党人在**国际的帮助下，要跟国民党人展开合作，以便推动北伐的大业。他终于认识了**党人，通过跟**党人的交谈，真正懂得了**党的主张，从此以后，加入**党就在他心里生了根。
他向李大钊提出了加入**党的要求。李大钊已经和陈独秀一道介绍林伯渠加入了**党，现在，国民党中最有影响力的人物也要加入**党，当然十分高兴，便准备援引林伯渠的例子，让余瑞祥成为秘密党员。国共合作了，**党的主张在某种程度上跟国民党的主张有类似的地方，余瑞祥希望公开加入**党。
毕竟，余瑞祥从一开始就不是国民党人。历经挫折和痛苦，他来到广州，准备帮助孙中山从事军事斗争准备，受到了孙中山的热烈欢迎，孙中山甚至亲自要求他参加中国国民党。余瑞祥不愿意参加国民党，却盛情难却，勉为其难地加入了国民党，成为了孙中山最信任的人之一。此后，余瑞祥在广州辗转腾挪，为孙中山打出了很大一片天下，却深切地感受到了国民党内部的许多弊端足以致使这个政党难以达成其想达成的目的。他向孙中山先生全面汇报了自己的看法，却许多事情，孙中山先生也无能为力。他感到了失望。现在，既然已经认定**党才是拯救国家的希望，他就一定要成为公开的**党人。
他说道：“我不希望在暗地里为**党工作。我要成为公开的**党人。至于孙中山先生那边，我会向他说明参加**党是我一生的愿望。”
李大钊不能不尊重余瑞祥的意见。于是，余瑞祥就成为了公开的**党人。
余瑞祥正式参加**党的那一天，孙中山深为惋惜，却也不得不正视现实。蒋介石却心头一阵狂喜，躲回老家，暗中部署打倒余瑞祥的招数。
就这样，因为余瑞祥是**党人，黄埔军校校长一职跟他失之交臂。军校筹建班子，因为考虑到余瑞祥的威望与资历远远超过了蒋介石以及其他任何一位现役的国民党高级将领，就让余瑞祥充当黄埔军校筹建委员会的顾问，负责指导一切工作。
当时对余瑞祥的安排，国民党内部有很多人感到不满。邓演达就是其中之一。在他看来，既然军校是在苏联的帮助下建立起来的，是国共两党合作的产物，就算**党人不能充当校长，也应该在军校占有一席之地吧？为余瑞祥打抱不平。为此，国民党内部达成了协议，**党人可以在军校里担任一定的实际职务，却仅限于去做政治动员工作。
“**党不是提倡发挥人的主观能动性吗？就让他们去军校政治部当主任或副主任，这个岗位最适合他们。”国民党人很快就为**党人找到了**。
然而，让余瑞祥到军校当政治部主任，在蒋介石手下过日子，怎么也说不过去，还是让其他**党人去当吧。这样，就有了张申府作为**党人，第一个进入黄埔军校充当政治部副主任的先例。
军校筹建完毕以后，南方政府总算在军事委员会里，给余瑞祥留下了一把交椅。当南方大军誓师北伐的时候，余瑞祥决定到军队里去，可是，蒋介石对他猜忌慎重，并且已经在东征以后，从第一军和黄埔军校驱赶了**党人，当然不会让余瑞祥进入总司令部，只让他去第四军当政治部主任。
攻克了武昌，实现了北伐大军制定的第一步战略目标。广州政府南迁武汉之初，黄埔军校政治科也随即搬到了武昌城，定名为黄埔军校武汉分校，随后又改为中央军事政治学校。名义上，邓演达全权负责处理该校的一切工作，却邓演达实在无力去管理那一摊子人马，就想到了余瑞祥。
就这样，余瑞祥来到了武汉分校，全面负责起了军校的日常管理工作。政治科的主要目的是培养政治工作人才，最重要的任务是开展好宣传鼓动工作。趁着分校正在进一步扩建、南方政府迁都武汉的机会，要广泛地发动群众，向民众宣传北伐大军的主张，宣传救国的道理。
经过深思熟虑，他决定将军校的学员们划分为许多小组，作为宣传队，全面铺开，去武汉三镇各大闹市区以及交通要道，展开宣传鼓动工作。
作为军校学员，赵春丽成了宣传队的一员。在军校里，赵春丽跟其他的学员住在一块，深切地感受到了军校跟原来的军队有着不一样的气氛。到处蒸腾着**的气息，到处充满了歌声，到处充满了革命的**，到处都是打倒军阀打倒列强的口号声。
“这里真是一片革命的天地，怪不得丈夫一到了广州，就觉得只有广州政府是左右中国前途的政府，最能给予民众需要的东西呢。”她心里想道，参加**党的愿望更加迫切了。
利用熟悉武汉三镇的优势，又有着丰富的作战经验，每当宣传队出发以前，她都能帮助队员们做出周密的计划。第一次展开演讲，她带领几个队员，去了一个人来人往的**口，在那儿支起摊子，贴上一张张宣传画报，就开始用手提话筒，热烈地宣传着革命的形式，宣传着革命的未来，在人们眼帘打开了一扇亮丽的门窗。不一会儿，听她们演讲的民众越来越多，很快就把**口全部堵塞住了。她的声音瞬间传播到了无数民众的心里，在民众当中引发了深深的共鸣。
“原来跟民众产生共鸣的感觉是如此奇妙！”这是她从来就没有过的感觉。她在这里找到了新的方向，愈发乐此不疲地加入到各种各样的宣传活动当中。
当军校上课的时候，她听到了许多著名的**党人和国民党左派人物对革命形势的分析，对未来前途的展望，更深入地了解到了革命的目的。周日，她就把这些知识传播到了民众的心间。
第一次成功地在民众心里打上了自己的烙印，赵春丽非常高兴，兴高采烈地对丈夫说道：“**党人发动民众的做法真是太好了！为了进一步发动民众，我一定要早日加入**党。”
余瑞祥笑道：“只要你继续努力，你一定会成为一个**党人。”
“是呀，我的丈夫就是一个著名的**党人，我要是不能成为**党人，岂不是你的过错吗？”赵春丽笑道。
夫妇俩同时爆发一阵快意的笑。
余瑞祥不仅希望赵春丽能够早日成为**党人，而且希望引导弟弟余瑞华成为**党人。他了解自己的弟弟，知道弟弟跟王俊林截然不同，没有多少个人的盘算，非常具有正义感，只是一直混身军阀的队伍，或多或少地沾染了一些军阀队伍司空见惯的流氓习气，要改变他的毛病，就得进行长期的工作。为此，余瑞祥亲自跟余瑞华谈过很多次话。
第一次谈话发生在武昌攻克之后不久。那个时候，城里一切基本上恢复了正常，他和弟弟余瑞华接受哥哥余瑞光的邀请，回去余府，兄弟三人以及整个余府的女人，全部聚集到了一块。他就利用这个机会，向余瑞华讲述了自己当年为什么要走一条艰苦的道**以及加入**党组织以后自己人生信仰的彻底改变。余瑞华已经在心里原谅了二哥，也就能够听得进二哥的话了。余瑞祥有很多事情要处理，不可能经常跟三弟谈话，于是，很希望余瑞华去武汉分校听一听革命形势的教育，也让赵春丽一步一步地向余瑞华的心间打进**党人的烙印。
赵春丽接受了丈夫交代的任务，只要上街去发动宣传演讲活动，就必然要拉着余瑞华去参加。置身于那种**的**，余瑞华的心进一步向**党组织靠拢了。不过，他的心结仍然没有完全打开，他仍然不能完全接受**党人的主张。饶是如此，赵春丽心里一样感到高兴，毕竟，通过自己的切身体验，她知道，进入**党组织不是一朝一夕之功，得通过自身的努力，一步一步地向**党组织的大门靠拢，时机成熟了，才能登堂入室。
就在余瑞祥决定对余瑞华进行教育，让他转变成**党人的时候，王俊林却自己找上门来，向余瑞祥提出了加入**党的要求。
能够在关键时刻，利用余瑞华打开城门的机会，率领一个师的人马，将自己把守的中和门、保安门也一同打开，接纳北伐大军进入武昌城，从而结束了北洋军阀对武昌的控制，王俊林受到了北伐大军的欢迎，不仅全师人马都保留下来了，王俊林师长的职务原封不动，而且还得到了一些武器补充，王俊林喜出望外。当北伐大军正在大肆扩军之际，他一样希望扩充实力，却这个愿望并没有得到满足，就对国民党产生了强烈的不满。
通过一段时间的了解，他大体上摸清了南方政府以及北伐大军的内情，准备在随后的战争中，学习唐生智的榜样，趁别人打仗之机，发展自己。
既然要学这个榜样，就要全面了解唐生智。这一了解，王俊林赫然发现，南方政府内部其实有很多人在为唐生智说话；反观自己，却几乎没有一个人愿意为他说话。这是一个劣势。要改变这一点，就需要在政府内部或者北伐大军内部找到为他说话的人。找来找去，他只有求助于余瑞祥。一来只有余瑞祥才能为他说话，二来余瑞祥虽说是**党人，虽说远离了南方政府以及北伐大军的最高领导层，甚至连一个军长的权力也没有，却影响力不容忽视。得检讨原先的策略，重新拉拢余瑞祥。余瑞祥是朋友，是兄弟，很容易就拉拢过来。