서울에서 출생한 김 준장은 1946년 1월 소위로 임관해 국방경비대 중대장과 통위부 정보국장(대리)으로 근무하면서 공군 창설에 기여했다.
6·25전쟁이 발발하자 한국 공군 최초로 10명의 동료와 함께 미 극동공군으로부터 F-51 전투기를 인수해 많은 공을 세웠다.
전쟁 기간 국군과 유엔군을 위한 근접항공 지원과 후방지역 차단 작전을 성공적으로 수행해 휴전 때까지 중·동부 전선의 적 전력을 타격하는 데 결정적인 기여를 했다.
1951년 8월 제10전투비행전대장 당시 지리산 공비토벌 작전을 수행하면서 해인사 폭격을 요청받았지만 끝내 실행하지 않아 팔만대장경과 숱한 국보급 문화재를 지켜낸 것으로 알려졌다.
이에 정부는 2010년 해인사와 팔만대장경을 지킨 그의 공적을 기리어 금관문화훈장을 추서했다.
김 준장은 대한민국 공군 조종사의 영광과 명예의 상징인 '빨간 마후라'를 최초로 착용해 이를 제도화시킨 주인공이기도 하다.
그는 휴전 이후에도 전투비행단 운영체계 수립, 전투조종사 양성 등 공군 전력 향상을 위해 헌신했으나 1954년 3월 5일 임무 수행 중 악천후로 인해 34세 일기로 순직했다.