Nie wiadomo kiedy dokładnie podjęto decyzję o jego budowie. Z pewnością istniał już w 1306 roku i przez lata stanowił ważną bazę przed wyprawami na Krzyżaków. W kolejnych wiekach ta iście królewska rezydencja przeżywała okres świetności. W XX wieku okoliczne plenery zauważyli filmowcy i powstała tu część scen do popularnego serialu Pan Wołodyjowski.