Башенный комплекс Кербите расположен в 800 метрах восточнее комплекса Эрзи, на оконечности горного кряжа напротив начала Ольгетинского ущелья. Из двух боевых и одной полубоевой сегодня сохранись стены одной и камни основания второй боевых башен. Ниже на обрывистом склоне расположено небольшое позднесредневековое святилище-здание XVII века. Замок был обнесен стеной, внутри имелся благоустроенный родник, а на подступах к нему располагались завалы и ловчие ямы, что превращало Кербите в неприступную крепость. Недалеко от Кербите расположены Киралтские циклопические постройки. По преданию, первые люди в этой части ущелья сначала поселились в Киралте, затем переселились в Кербите, и наконец основали Эрзи.