1996년 SBS 공채 5기로 연예계에 데뷔했다. 강성범, 심현섭, 지상렬 등과 동기다. 상당히 어린 나이부터 개그맨 활동을 하다가 입대했지만, 군 복무를 끝마치고 돌아오니 SBS 코미디의 계보가 끊어진 상황이었다. 이때 동기이자 SBS 시절 함께 코너를 진행하던 심현섭이 김준호를 개그콘서트로 섭외, 심현섭과는 달리 아예 KBS 14기라는 기수를 부여받으며 신인 개그맨으로 출발하게 된다. 당시 개그콘서트로 넘어온 SBS 공채가 여러명 있었지만 KBS 기수를 받으며 신인으로 다시 시작한 경우는 김준호가 유일하다.

1999년 전유성, 김미화, 백재현을 정신적 지주로 하여 KBS 개그맨들의 전성시대를 이끄는 원동력이 된 개그콘서트의 탄생을 함께한 당시 초창기 멤버의 '젊은 피' 들 중 한 명이다. 그 멤버로는 동기이자 절친인 김대희와 함께 심현섭, 박성호, 김영철, 김지혜, 김경희 등이 있다. 참고로 이 멤버들의 대부분은 당시 심야 코미디 프로그램 코미디 세상만사에서 이미 어느 정도 인지도를 확보한 상태였다.

개그콘서트 1회부터 10년이 넘게 하고 있기 때문에 그 영향력이 상당하다고 한다. 2011년 기준으로 개그콘서트에 출연했던 개그맨들 중 김대희와 함께 서열 2위였다. 그러나 박성호, 김대희에게는 없는 독자적인 리더십을 바탕으로 개그콘서트의 보스 포지션을 담당하였다.

SBS 공채 5기 개그맨이며 주요작품으로는 웃으며삽시다에서 남희석과 했던 “남걱정”이 있다. 심현섭 & 강성범도 SBS 공채 5기, 윤성호 & 최국 & 엄태경은 공채 6기, 변기수는 공채 7기 개그맨이다. 개그콘서트뿐만 아니라 김구라·나도야 & 장동국·황봉알도 SBS 공채 2기·3기·4기 개그맨이지만 실제 활동은 폭소클럽에서 했으며, 공채 8기 개그맨인 조원석은 MBC에서 활동하고 있다. 김구라는 이를 "뜬 애들만 쓰려고 하고, 키우려고 하지 않아서 공채 개그맨들이 손가락만 빨고 있다"면서 깐 적이 있다. 웃찾사가 시작하면서 그나마 사정이 나아진 듯했지만 그마저도 2010년 10월 2일을 막방으로 폐지. 김준호는 KBS에서 활동하면서 특채가 되어 14기인 김대희/김상태/김영철/김지혜 등과 동기가 되었다.

개그콘서트에서는 초창기에는 공기 캐릭터였다가 점점 봉숭아 학당의 이장님으로 인지도를 쌓고, 9시 언저리뉴스로 큰 인기를 얻었으나, 소속사인 스타밸리 소속 개그맨들이 전부 개그콘서트에서 하차하고 웃찾사로 옮기는 사태가 벌어진다. 이때 김준호 역시 웃찾사로 이적한다. 웃찾사에서도 김대희, 강성범 등 절친들과 함께 코너를 진행했지만 시청률은 저조했고, 개그콘서트 캐릭터를 벗어나지 못한다는 지적을 받으며 결국 한 달도 되지 않아 하차했다. 이때 김대희와 하차해서 휴식기를 가진 뒤 어우야로 개그콘서트에 복귀한다.

이후로도 개그콘서트로 복귀해서 하류인생 및 씁쓸한 인생의 무시당하는 보스 역으로 꽤 인기를 얻었다. 이 외에도 집으로의 할머니 캐릭터 등 많은 코너로 활동했다. 물론 그 과정에서 3번 방송 타고 항의 때문에 사라진 준호삼촌 같은 흑역사도 있었지만.... 하지만 2009년에 필리핀 원정 도박 사건이 터지면서 하차하게 된다.