上海社会主义青年团出现于20世纪20年代。五四运动前，陈独秀曾长期在上海活动。1915年，他在上海创办了《青年杂志》（后改名《新青年》），使得上海在新文化运动中占有重要地位。

在共产国际的帮助下，中国工人阶级最密集的中心城市上海首先建立了共产主义小组。在这个党的早期组织的筹建过程中，共产党的发起人李大钊、陈独秀等人就对发展中国青年运动、在青年中培养和挑选预备党员的工作给予了极大的关注。因此，上海共产主义小组一成立，陈独秀便指派小组内最年轻的成员俞秀松组建社会主义青年团。

1920年，8月22日，上海社会主义青年团由俞秀松、施存统等8人正式发起建立。俞秀松担任了中国第一个地方青年团组织的书记，团的机关就设在当时上海法租界的一个普通民居——霞飞路渔阳里6号。为了联系和团结进步青年，上海共产党和青年团组织就在这里开办了中国党、团组织的第一所培养青年革命者的学校——外国语学社，并且在这个学社的学员中发展青年团员。

1921年2月至4月间，一大批上海社会主义青年团团员陆续离沪赴苏维埃俄国，在上海的团员参加了由上海的共产党早期组织领导的纪念“五一国际劳动节”活动。

5月1日，负责工人工作的李启汉带领部分群众在上海闸北、天后宫、永安公司等处散发传单，外国语学社的学生参加了这次活动。在此之后，由于团的大批骨干赴俄，加上党的早期组织筹备召开党的一大，加之渔阳里6号因为遭到巡捕房的搜查而无法开展活动，青年团的活动逐渐处于“无形停顿”状态。

1921年7月，中国共产党正式成立后，决定加强对青年团的领导。8月，从苏俄参加青年共产国际“二大”回来的张太雷，带回青年共产国际要中国建团和在中国共产党中央局的领导下恢复上海社会主义青年团的指示，并在11月制定了中国社会主义青年团临时章程，明确规定：社会主义青年团“以研究马克思主义、实行社会改造及拥护青年权利”为宗旨，使团的性质得到进一步明确。同时，也比较严格地确定了团员的标准和义务。

此后，上海社会主义青年团内部的思想信仰达到了初步的统一，上海团的活动，也进入了一个新的时期。1922年4月，团的临时章程公布时，在附则上明确规定：团的正式中央机关未组成时，以上海机关代理中央职权。