会议结束第二天,张国焘便给陈独秀去信,说明一大召开的情况,希望陈独秀尽快回上海主持工作。按照中央局的分工,张国焘负责组织工作,当时组织工作的主要任务就是从事工人运动。张国焘与共产国际代表马林商议,于8 月中旬成立了“中国劳动组合书记部”,机关地址设在北成都路19号,同时编辑和出版《劳动周刊》,并以“张特立等二十六人”的名义发表了《中国劳动组合书记部宣言》。
宣言称:中国劳动组合书记部“是一个要把各个劳动组合都联合起来的总机关”,“它的事业是要发达劳动组合,向劳动者宣传组合之必要,要联合或改组已成的劳动团体,使劳动者有阶级的自觉,并要建立中国工人们与外国工人们的密切关系”,“相信将来的世界一定是工人们的世界”。
这一宣言的发表,对于上海乃至全国的工人运动,产生了较大影响。
9 月中旬,陈独秀回到上海,就任中共中央局书记,对于张国焘组织一大的表现,陈独秀非常满意,对他赞不绝口。但不久,由于陈独秀对共产国际代表马林抱有成见,而张国焘与马林一向相处融洽,受某些事情的牵连,继而引起陈独秀对张国焘的不满。
马林为人傲慢,常以领导自居,在筹办一大期间,便与李达、李汉俊等人产生隔阂。张国焘自5 月来到上海筹办一大,便一直在“二李”与马林之间调和,同时尽力促使马林和党内其他同志和平相处。