抗日战争胜利，台湾光复，国民党政府加紧派员接管，中共也派员到台湾建立党的地方组织。

1946年3月，暨南大学由建阳迁回上海，提前放暑假。闽南特委决定派人赴台湾了解情况。5月，张连到台湾，在台北吸收了暨南大学学生运动中先进分子卜新贤等人入党，建立中共台北支部，这是闽西南白区党组织在台湾建立的第一个党支部。党支部建立后便着手调查台湾情况，进行宣传发动，培养积极分子，发展革命组织。随后，张连即往彰北、台中、台南、新营等地会见李法儒等在台工作的党员和进步同学，进行串联，了解情况，然后将台北支部交给李法儒联系，自己回厦门向上级汇报。

7月，罗琳、陈华、张连、李法儒决定进一步加强台湾的工作，从龙门调梁新民、林五地（庄牧）往台湾配合李法儒开展活动。不久，梁新民往台南县鲲鯓小学任教，庄牧往台南县某小学任教。

1947年台湾爆发了二二八起义。由于国民党反动当局对台湾人民进行残酷镇压，台湾民众对大陆来台人员心存疑虑和不满，这增加了党组织深入群众的困难。经过一段艰苦的工作后，局面才逐步打开。此时，上海、南京、杭州、北平、天津、厦门等大中城市学生的反饥饿、反内战、反迫害运动风起云涌。国民党政府凶狠镇压学生运动，学运中的积极分子大批被驱逐、逮捕或开除。其中一批原为闽西南地下党员及党联系培养的活动骨干于是年夏秋，先后从沪、杭、厦渡台，通过各种关系，分别在台北、台东、台中、彰化、台南、高雄、新营的学校里工作。并先后办了入党手续，建立了党组织。原安溪龙门区工委书记林敬平因被安溪反动当局追捕，是年夏天也转移到台湾。

在台湾的闽西南地下党组织得到较大发展的时候，为取得上级指示，1947年7月，李法儒回到厦门向罗琳汇报请示。罗琳传达上级指示：决定成立中共台湾工委；继续派张连代表上级到台湾指导工作；开展台湾工作要作长期打算，要通过学校扎根社会，发展组织，积蓄力量；组织上不得与其他系统的地下党、原台湾共产党发生联系；对台湾的政治、经济、社会、地理等情况进行尽可能深入的调查了解。

9月18日，张连、李法儒在台南中学林楚萍的住处召开中共台湾工作委员会成立会议。参加会议的有张连、李法儒、林楚萍、金尧如、卜新贤等5人。会上，张连传达了上级的指示和决定。大家就国内外形势、台湾前途和台湾工委当前任务进行讨论，统一认识，然后作了组织分工，工委书记李法儒、组织部长林楚萍、宣传部长金尧如、青运部长卜新贤。台湾工委下辖台北、台东、台南、新营、高雄、台湾南部某小学等6个党支部和台南一乡村据点（单线联络点），共有党员24人。台北支部，书记卜新贤；台东支部，书记李法儒（兼）；高雄支部，书记陈方；台南某小学支部，负责人庄牧；台南一乡村联络点，负责人梁新民（先）、林敬平（后）。

台湾工委成立后，党的领导得到加强。各地党支部继续在学校师生中组织各种读书会、文艺会、话剧团、歌咏队等，团结、培养进步青年和文艺活动积极分子，并把其中一些可靠的学生组成核心学习组，秘密传阅毛泽东的《新民主主义论》《在延安文艺座谈会上的讲话》等著作，以及解放区文艺书刊和沪、港进步报刊，介绍解放区见闻，讨论解放战争形势。同时，通过家庭访问，深入社会，广交朋友。有的还到附近工厂办职工学校，有的到农村办农民夜校，向职工、农民讲述闽台关系和日本侵华史等，讲授史地知识和形势，深受群众欢迎。在此过程中，他们有的物色了建党对象，有的秘密地发展党员。

1947年12月中旬，张连得知李法儒、卜新贤被捕后，立即意识到可能是福建那边出了叛徒，当即赶到新营等地布置转移，又赶到庄牧处指派庄通知林敬平等转移，然后转往台北，于1948年1月3日与转移到台湾大学等处隐蔽的同志会合，召开紧急会议，弄清被捕人员情况，分析当时处境，决定撤离台湾。并通知李法儒、卜新贤等人的在台亲友，设法营救被捕人员。在尽力营救并安排大批同志撤离台湾后，张连从基隆离台赴沪，通过中国学联和李纯清的关系向上海党组织汇报求援。其他得到通知转移的同志也分散离台，先后转往上海、杭州、福州、泉州、厦门、安溪、香港等地待命。

不久，李纯清传达上海党组织负责人张执一的指示，要张连赴港向中共香港分局汇报，取得闽粤赣边区党委的领导，把失散的地下党员重新组织起来，回闽南山区开展游击战争；一些转移来沪的同志如不能回去，可以转入苏北、中原解放区或其他游击区工作。

张连等经上海党组织介绍从沪抵港，在香港分局领导的关怀和支持下，于5月在九龙香岛中学正式成立中共泉厦临时工作委员会，统一领导闽西南白区党组织。临工委书记张连、组织委员叶森玉、宣传委员林岗（后蔡重明接任）。6月，叶森玉回厦门整顿组织，训练游击干部，建立中共厦门市临时工作委员会，健全厦门地区党的基层组织，同时派遣一批党员去台湾，恢复台湾党组织的活动。