为适应全国工人运动日益高涨的形势，京汉铁路总工会筹委会经过多次酝酿筹备，决定于1923年2月1日在郑州召开京汉铁路总工会成立大会。2月1日清晨，郑州全城戒严。反动军警荷枪实弹，如临大敌。面对全副武装的敌人，林祥谦和代表们毫不畏惧，冲破军警的包围圈，进入会场。在一片欢呼和口号声中，宣告京汉铁路总工会正式成立。

反动军阀吴佩孚、萧耀南对此感到无比恐慌和仇恨。当天下午，他们下令反动军警占领总工会会所，驱逐工会工作人员，查抄总工会的文件材料，砸坏各单位赠送给大会的匾额和礼品，甚至包围和监视代表们的住处。当晚，林祥谦参加了总工会召开的紧急会议，决定向反动当局提出五项要求，限48小时内答复，否则将于2月4日举行全路总同盟罢工。会议决定总工会移到江岸办公，同时成立总罢工委员会，林祥谦被指定为江岸地区罢工总负责人。

第二天上午，林祥谦回到江岸，随即召开会员大会，传达总工会关于发动全路总同盟大罢工的决定，号召工友们用最大的力量反抗军阀的暴行。接着，林祥谦带领工人们组织宣传队，贴标语、发传单，揭露敌人罪行；成立调查队，了解掌握敌人动态；扩大工人纠察队，同时赶制铁棍、木棒，准备自卫。2月3日晚，罢工的各项准备都已就绪。

2月4日上午9时，林祥谦接到总工会关于罢工的指示后，下达了罢工令。随着第一声汽笛的拉响，江岸机车厂所有的汽笛同时怒吼，响彻武汉三镇。京汉铁路全线所有的客、货、军车一律停驶，震撼中外的京汉铁路工人大罢工开始了。这次大罢工从政治、经济上沉重打击了帝国主义和反动军阀。2月6日下午，汉口美、英总领事召集中外买办资本家进行密谋策划，并向北洋军阀政府施压。吴佩孚勾结帝国主义，决定对罢工的京汉铁路工人进行残酷镇压。