안 후보자는 지난해 출간한 책 '남자란 무엇인가'에서 같은 해 성매매 중 경찰에 단속된 판사의 사례를 거론했다. 그는 "문제 된 법관의 연령이라면 대개 결혼한 지 15년 내지 20년"이라며 "아내는 한국의 어머니가 대부분 그러하듯 자녀교육에 몰입한 나머지 남편의 잠자리 보살핌에는 관심이 없다"고 썼다.
그는 "이런 답답한 사정이 위법과 탈선의 변명이 될 리는 없다"고 해당 법관을 비판했지만, 외도의 원인을 아내에게 돌렸다는 점은 성급한 일반화의 오류를 범하고 있는 듯 보인다. 또 '남자가 성매매를 하는 이유'라는 부분에선 "인간의 몸이 재화로 거래된 역사는 길다. 젊은 여성의 몸에는 생명의 샘이 솟는다. 그 샘물에 몸을 담아 거듭 탄생하고자 하는 것이 사내의 염원"이라고 쓰기도 했다.
안 후보자는 또 같은 책에서 "여성은 술의 필수적 동반자"라며 "(여자가) 없으면 장모라도 같이 마셔야 한다"라거나, "왜 사내들이 술집 마담에게 아내나 자신의 비밀을 쉽게 털어놓는 것일까"라고 적은 대목도 있다.
그는 앞서 2014년 7월 25일자 광주일보에 게재된 '인사청문회의 허와 실'이라는 제목의 칼럼에서 과거 음주운전 경험을 고백하기도 했다.
한편 안 후보자의 1997년생 아들과 1998년생 딸은 모두 미국에서 출생해 미국과 한국 복수 국적을 가졌다. 법무부는 "안 후보자의 부인인 박숙련 순천대 교수가 미국 일리노이주립대 교수로 있을 때 두 자녀를 출산해 선천적 이중국적을 갖게 된 것으로 파악된다"고 해명했다.
다만 두 자녀 모두 한국 국적을 포기할 계획이 없는 것으로 전해졌다. 안 후보자는 자신에게 제기된 논란에 대해 "청문회에서 상세하게 말하겠다"는 입장이다.