Sillem adası Baffin Torpağından şimalda yerləşən ada və adacıqlar arasında, sahəsinə görə ikincidir (Baylot adasından sonra). Skott buxtasının daxilində yerləşən adanın şərq sahillərini Qibbs fiordu, qərb sahillərini isə Klark fiordu yuyur. Adanın şimal qutaracağından 6,4 km km şimalda Skott adası yerləşir. Sahilləri qərbdən və şərqdən sürətlə yüksəlir, 600-700 metr yüksəkliyə qalxır. Yüksəkliklər sahil xəttindən yalnız beş yüz metr aralıdan başlayır. Adanın daxili hissəsi isə dağlıq ərazilərdən ibarətdir. Burada maksimal hündürlük dəniz səviyyəsindən 1,660 metrə çatır. Bu dağlıq ərazilərin böyük hissəsi qar və buzlaqlarla örtülüdür.

Adanın sahəsi 482 km², sahil xəttinin uzunluğu isə 93 km-dir.