김 차관은 전남 여수출신으로 서울대 영문과를 졸업하고 행정고시(32회)에 합격해 공직생활을 시작했다.
통일부에서 통일정책실 정책총괄과장, 경수로 기획단 파견, 남북경제협력본부 경협기획관, 정세분석국장, 대변인, 남북회담본부 상근회담대표, 북한이탈주민정착지원사무소장 등을 거쳤다.
2013년에는 새누리당 정책위원회의 수석전문위원을 역임했으며, 지난해 4월부터 홍용표 통일부 장관의 후임으로 청와대 외교안보수석실 통일비서관을 맡았다.
경기대 대학원에서 북한학 박사도 취득했다.