ジェームズ島は、ガンビアの都市ジュフレに近いガンビア川に浮かぶ島で、河口から30kmのところにある。フォート・ジェームズの名で知られる要塞があり、川の北岸にあるアルブレダからは2マイルもない。ジェームズ島もアルブレダも、ともにかつて西アフリカの奴隷貿易の拠点となっていた場所で、「ジェームズ島と関連遺跡群」としてユネスコの世界遺産に登録されている。
この島に最初に入植したヨーロッパ人はクールラント公国のバルト・ドイツ人たちだった。彼らが植民地化するよりも前に、イングランド王権によって1588年と1618年に2つの会社に対して承諾が与えられていたにもかかわらず、バルト・ドイツ人たちはこの島を聖アンドレ島と呼んで、植民地化した。1651年に、彼らはクールラント公ヤーコプ・ケトラーにちなんでフォート・ジェイコブ (Fort Jacob) を建造し、貿易拠点として利用した。
その後短期的にオランダが掌握したが(1659年 - 1661年)、イングランドがそれを奪い、1664年に正式に譲渡された。
イギリスはヨーク公にちなんでこの島をジェームズ島、フォート・ジェイコブをフォート・ジェームズとそれぞれ改称した。島の統治は、勅許を得たRoyal Adventurers in Africa Companyに委ねられた。同社は主に、この島を象牙や黄金の交易に利用し、後には奴隷貿易に利用した。1669年8月1日には、行政権はGambia Adventurersに又貸しされ、1684年には行政権はRoyal African Companyの手に移った。
1695年にはフォート・ジェームズは戦闘の末にフランスの手に渡った。イギリスは1697年に奪還したものの、1702年に再び奪われた。この時期には英仏間の戦闘や海賊の襲撃などによって、フォート・ジェームズは破壊と再建を繰り返した。
1750年6月13日に、ガンビアの行政権はthe Company of Merchants Trading in Africaが受け持つこととなった。1765年5月25日から1779年2月11日までは、イギリス領セネガンビアの一部だった。1779年にイギリスが奴隷貿易を廃止したことに伴って、フォートも廃れてしまった。