그는 1967년 인도 하이데라바드에서 엘리트 공무원의 아들로 태어났으며 망갈로르대 산하 마니팔 공대에서 전기공학 학사학위를 받았다.
이어 미국으로 건너가서 위스콘신-밀워키대에서 전산학 석사학위를 받고 썬마이크로시스템스(지금은 오라클에 인수)에서 엔지니어로 일했으며, 시카고대 경영전문석사(MBA) 과정에 재학중이던 1992년 MS에 입사했다.
이 때문에 그는 매주 금요일 밤 시카고행 비행기로 학교로 가서 주말에 수업을 듣고, 주중에는 MS 본사가 있는 워싱턴주 레드몬드로 돌아와 윈도 NT를 만드는 팀에서 일했다.
이 때문에 MBA 취득에 2년 반이 걸렸다.
그는 2001년 MS 비즈니스 솔루션스 사업부의 연구개발 책임자가 됐고 2006년에는 이 사업부 전체 책임자가 됐다.
이어 2008년에는 검색, 포털, 광고 담당 선임부사장이 돼 '빙' 사업을 궤도 위에 올렸으며 2011년에는 서버와 툴 비즈니스 사업부 사장으로 임명됐다.
지난해 회사 조직개편 이후로는 엔터프라이즈와 클라우드 담당 수석부사장을 맡고 있었다.
나델라는 지금도 독서와 온라인 강좌 수강을 통해 지적인 자극을 받으려고 노력한다.
그는 MS CEO 취임 후 홈페이지에 올린 소개 글에서 "아침에 15분 짬을 내서 신경과학 강의를 들으려고 하다 보면 '이게 뭐 하는 짓인가' 싶을 때도 있지만 그렇게 하는 것을 좋아한다"고 말했다.
또 "다 읽을 수 있는 것보다 책을 더 많이 구입한다"고 털어놓기도 했다.
인도와 미국 시인들의 시를 즐겨 읽는다는 그는 "시는 마치 코드와 같다"며 "산문으로는 아주 많은 문장과 페이지를 써서 묘사하는 것을, 단 두 줄의 시로 표현하고, 그러면서도 핵심을 얻을 수 있다"고 말했다.
그는 또 고등학교 크리켓부에서 대표선수로 뛰면서 팀워크와 리더십을 배웠고 이 점이 평생 자산이 됐다고 회고했다.
나델라는 고교 시절부터 알고 지내던 여성과 결혼해 아이 셋을 두고 있다.