知多半島西海岸の中央部に位置し、西側は伊勢湾に面している。伊勢湾に沿って北側に知多市、南側に美浜町があり、知多半島中央部の丘陵地帯を越えた先に阿久比町、半田市、武豊町がある。
海岸は遠浅の海岸になっているが、伊勢湾北部に沿ってコンビナートが建設された名古屋港口埋立地は常滑市の北の知多市が南限で、中部国際空港及び中部臨空都市空港対岸部（通称「前島」）のある常滑駅沖を除いて埋め立ては進んでいない。このため環境省とは別に愛知県が絶滅危惧種に指定している海浜植物（スナビキソウやマルバアカザなど）が残存している。
丘陵の連なった知多半島特有の地形のため、平地は海沿いの比較的狭い部分に限られ、市域の大部分は丘陵地である。丘陵は低くなだらかで、市内最高所は100mに満たない。海側に面する市北部の丘陵地はほとんどすべて 農地と宅地用に造成された。 この点、海側の丘が一部そのまま残されている東海市（聚楽園付近）、知多市（日長-古見付近）と異なる。 気候は一年を通じて比較的温暖であるが、冬には三重県の四日市方面から「鈴鹿おろし」と呼ばれる風が伊勢湾を越えて吹き寄せ、稀に降雪もある。