서울 용문고와 동국대학교 연극영화과를 졸업했으며, 1990년 연극 '아이 러브 빵'으로 데뷔했다. 《돈아 돈아 돈아》, 《세 자매》 등의 연극무대에서 활동하다가 1994년 특채로 MBC에 발탁, 드라마 《님이여》에 출연하면서 알려지기 시작했다. 1995년에는 MBC 드라마 제4공화국에서 육영수 여사 저격범 문세광 역을 맡아 강한 인상을 남겼으며, KBS에서 방영한 광복 50주년 특별기획드라마 백범 김구에서 청년 김구 역으로 출연했다.

일반 대중들에게도 잘 알려진 스타급 연기자로 자리잡게 된 계기는 1996년 KBS 주말연속극 목욕탕집 남자들에서 고고한 독신주의자였던 목욕탕집 맏딸 김윤경(배종옥 분)을 능글능글함으로 쥐락펴락하면서 마침내 결혼에까지 골인하는 노총각 강호준 역할을 맡으면서 부터이다. 그 후 SBS 드라마 홍길동에서 주인공 김석훈과 대립하는 이업 역, 경찰특공대에서의 대장 역, 제국의 아침의 광종 역, 추적자 더 체이서의 강동윤 역, 개과천선의 차영우 대표변호사 역 등 중량감 있으면서 극의 중심을 잡아주는 냉철한 역할로 이름을 알렸다. 특유의 강렬한 눈빛 연기는 위 작품들을 거치며 그의 트레이드 마크가 되는데, 이때부터 쌓인 내공을 나쁜 녀석들에서 제대로 폭발시킨다...

선역과 악역을 넘나드는 배우로, 악역을 맡았을 경우 특유의 카리스마가 특징적으로 잘 나타나 추적자에서 손현주와 대립하는 강동윤 역 등 피도 눈물도 없는 악역으로 잘 소화해내는 건 물론이고, 심지어 찌질하고 코믹한 연기도 잘 소화한다. 대표적으로 잘 알려진 것이 투사부일체에서 오상중 역으로 대표적인 찌질+코믹연기를 보여줬고, SBS 드라마 내 남자의 여자 에서의 홍준표 역으로, 두 여자 사이에서 이도저도 아닌 찌질한 모습을 보여 많은 욕을 먹었다. 김희애와 동급에서 연기하는 본인의 커리어 정점을 장식한 작품인데, 여기서 희대의 표정연기는 유명한 대사인 "감자 좀 쪄줄래?"와 함께 짤방으로 만들어져 많은 인기를 누리기도 했다. 같은 김수현 작가의 후속작인 엄마가 뿔났다 에서도 짧은 특별출연에 불과했으나, 홍준표를 생각나게 하는 찌질한 모습을 보여 아줌마들에게 강한 인상을 남겼다. 같은 김수현 작가의 후속작 인생은 아름다워에서는 능력있는 차도남이지만, 가족에게는 다정한 삼촌 역을 맡아 이미지 쇄신에 성공한다.

잘 안 어울릴 것 같지만, 홍상수 영화에 출연하기도 했었는데 의외로 잘 어울렸다. 아무래도 탄탄한 연기력으로 다져진 배우의 힘이다. 보통 나오는 기존의 남자상에 비해 좀 더 점잖고 젠틀하게 나왔긴 했는데, 홍상수 영화 분위기 상 영화 북촌방향 후반부 리얼했던 취한 연기나 우리선희에서 제자와 만나는 교수의 모습은 브라운관에서만 김상중을 봐온 일부 팬들에게 신선할 수도 있다.

그리고 김상중의 팬들이라면 잘 알고 있을테지만, 그는 정신지체 연기도 잘 어울리기도 했다. 1997년 신현준, 심혜진과 출연한 영화 마리아와 여인숙에서 여인숙을 소유한 정신지체 형 '기태'역할을 소화하여, 그 해 청룡영화상 남우조연상 후보에도 올랐었다. 아쉽게도 넘버 3에 출연한 송강호가 수상하긴 했지만, 만약에 이 영화가 흥행에 성공했다면 수상이 가능했을 정도였다.

7차 교육과정 중학교 국어의 지문 중 레전설급인 MBC 청소년 드라마 사춘기의 에피소드 중 하나인 육체미 소동에서 체육선생님으로 나온다. 극중에서 피도 눈물도 없는 수학선생님과는 대비되는 역할로 학생들 편에 선 자상한 선생님 역할이었다.