De plaats ligt op een schiereiland in het gelijknamige meer. Vooral de oude houten huizen geven de stad een schilderachtig aanzien. De vele kerkjes maar ook sommige van de oude huizen zijn van binnen te bezichtigen.
Kastoria was vooral bekend vanwege de bontindustrie, dit is echter geleidelijk aan minder geworden. De prachtige huizen met een stenen basis en overhangende houten verdiepingen stammen uit de 17e en 18e eeuw, toen de welvaart vanwege de bontindustrie op een hoogtepunt was.