Родился 25 января 1913 года в деревне Зелёная Слобода Московской губернии (ныне Раменского района). В 1935 году окончил училище при Московском театре Революции и стал актёром этого театра. В 1940 году стал актёром киностудии «Союздетфильм», с 1945 года — актёр Театра-студии киноактёра. Снимался в кино с 1939 года (дебютировал в роли есаула Сороки в фильме «Кубанцы»). Прославился ролями простых русских мужчин, часто эпизодических, но колоритных. Иван Рыжов ушёл из жизни утром 15 марта 2004 года в московской больнице. По рассказам дочери, это произошло по халатности медперсонала — актёр упал и порезал руку. Панихида проходила не в Доме кино, как бывало с другими известными актёрами, а в больнице им. Боткина, в которой его не стало. Там же, в маленьком храме при больнице, прошло отпевание. Проститься с актёром пришли только родственники и несколько деятелей искусства. Похоронен актёр на Перепечинском кладбище