计划生育工作主要归 卫生健康主管部门管理。具体来说：
国务院卫生健康主管部门负责全国计划生育工作和与计划生育有关的人口工作。
县级以上地方各级人民政府卫生健康主管部门负责本行政区域内的计划生育工作和与计划生育有关的人口工作。
县级以上人民政府其他有关部门在各自的职责范围内，负责相关的人口与计划生育工作。
因此，无论是国家层面还是地方层面，计划生育工作都是由卫生健康主管部门来负责。具体到地方，各级计生局或卫生健康委员会是负责实施计划生育政策的部门。例如，区（县）计生局或卫生健康委员会负责该区域内的计划生育工作，街道（乡、镇）计生办（科）则负责更基层的计划生育工作。
