会议结束第二天，张国焘便给陈独秀去信，说明一大召开的情况，希望陈独秀尽快回上海主持工作。按照中央局的分工，张国焘负责组织工作，当时组织工作的主要任务就是从事工人运动。张国焘与共产国际代表马林商议，于8 月中旬成立了“中国劳动组合书记部”，机关地址设在北成都路19号，同时编辑和出版《劳动周刊》，并以“张特立等二十六人”的名义发表了《中国劳动组合书记部宣言》。
宣言称：中国劳动组合书记部“是一个要把各个劳动组合都联合起来的总机关”，“它的事业是要发达劳动组合，向劳动者宣传组合之必要，要联合或改组已成的劳动团体，使劳动者有阶级的自觉，并要建立中国工人们与外国工人们的密切关系”，“相信将来的世界一定是工人们的世界”。
这一宣言的发表，对于上海乃至全国的工人运动，产生了较大影响。
9 月中旬，陈独秀回到上海，就任中共中央局书记，对于张国焘组织一大的表现，陈独秀非常满意，对他赞不绝口。但不久，由于陈独秀对共产国际代表马林抱有成见，而张国焘与马林一向相处融洽，受某些事情的牵连，继而引起陈独秀对张国焘的不满。
马林为人傲慢，常以领导自居，在筹办一大期间，便与李达、李汉俊等人产生隔阂。张国焘自5 月来到上海筹办一大，便一直在“二李”与马林之间调和，同时尽力促使马林和党内其他同志和平相处。