严幼韵的父亲严子均，是上海有名的实业家，宁波籍。祖父严信厚是晚清实业先驱，上海总商会首任会长。严子均接手家族产业，经营钱庄、商行，家底丰厚，思想开明。

严子均重视女儿教育，没有旧式重男轻女的观念。他的三个女儿严彩韵、严莲韵、严幼韵，个个知书达理，都是民国知名的大家闺秀。优渥宽松的家庭环境，让严幼韵自幼眼界开阔，敢开汽车上学，才有了上海滩“84号小姐”的一段佳话。良好的家教，也让她日后历经风雨，始终保持从容优雅。