År 1283 finns öarna omnämnda under namnet ”Rogoy”
År 1345 köpte 5 svenskar bruks- och besittningsrätten till Stora Rågö av Padis kloster. Mycket pekar på, att den svenska ”invandringen” till de dåtida sannolikt obebodda Rågöarna helt eller delvis har kommit från Nyland i Finland.
Från 1400-talet finns det få urkundsuppgifter om öarna.
På 1500-talet var Stora Rågös bruksenheter indelade i 12 hakeland besuttna av c:a 30 brukande svenska bönder. Lilla Rågö med sin svenska befolkning och 1 ½ hakeland löd under godset i Kegel. Från 1500-talets slut och de två första årtiondena på 1600-talet härjades Rågöarna svårt under Livländska kriget av krigshorder (sannolikt växelvis såväl ryska som polska), befolkningen reducerades och en tid var hälften av bruksenheterna (hakelanden) på Stora Rågö obesuttna.
År 1622 förlänades Stora Rågö av kung Gustav II Adolf tillsammans med Padis klosters ägor till Thomas von Ramm som varit borgmästare i Riga. År 1628 köpte samme Thomas von Ramm Lilla Rågö av godset Kegel som vid den här tiden var svenskt kronogods. Släkten von Ramm på Padis gods förblev herrar över området i nära 300 år. På 1600- och 1700-talet förde Stora Rågös bönder en enveten kamp för sina rättigheter mot godsägarnas egenmakt. Man sökte hjälp i striden såväl från den svenska kungamakten (1600-talet) som från det ryska generalguvernementet i Reval (1700-talet). Överheten stödde ofta rågöbönderna, något som godsägaren dock sällan rättade sig efter. 1710 kom pesten till öarna och skördade 63,7 % av Stora Rågös befolkning (kvar blev 70 personer) och 79,5 % av Lilla Rågös befolkning (kvar blev 45 personer).
I början av 1800-talet var Rågöarnas befolkning som störst. Det fanns 42 gårdar på Stora Rågö och 32 på Lilla Rågö. Under slutet av 1800-talet inrättades svenskspråkig folkskola på öarna. På Stora Rågö skedde en viss splittring bland befolkningen, då ett antal familjer år 1886 lät sig övertalas att konvertera till den ryska ortodoxa tron. Några år in på 1900-talet återvände ”frånfällingarna” tillbaka till ” fädernas lutherska tro”. Från 1897 övergick Rågöarnas lutherska befolkning från Kors församling till Svenska S:t Mikaels församling i Reval. Församlingarna Mattias och Kors på närmaste fastlandet hade tidigare haft hand om rågösvenskarnas kyrkliga förrättningar. På vardera ön hade rågöborna dock var sitt eget kapell och sina egna gravgårdar.
Från 1918 blev Estland självständig stat och godherrarna förlorade sin makt över landbesittningar och befolkning. Rågöarna blev egen kommun i mellankrigstida Republiken Estland Befolkningen uppgick 1935 till 357 personer. Hösten 1939 tvingades Estlands regering upplåta Rågöarna till Sovjetryssland som militärt basområde. Befolkningen tvångsevakuerades från öarna sommaren 1940. Många av de nu hemlösa rågöborna ansökte om att få komma till Sverige. I oktober 1940 fick 110 av dem möjlighet att fara över. De kvarvarande återvände till Rågöarna, när tyska trupper sensommaren 1941 fördrev sovjetmakten ut ur Estland. Tyskarnas krigslycka vände dock och inför den åter annalkande sovjetarmén delvis flydde, delvisevakuerades de kvarvarande rågöborna till Sverige 1943-1944. Efter kriget blev Rågöarna åter sovjetiskt militärområde och stängd zon för all civilbefolkning. Från 1960-talet användes öarna som bombmål för sovjetiska övningsflygningar.
Sommaren 1991 fick de nu i Sverige bosatta rågöborna första gången efter andra världskriget möjlighet att åter gå i land på Stora Rågö. Hus och byggnader var helt borta, de tidigare byarna ruinlämningar överväxta av snårig sly, kapellen i ruiner, de norra delarna av öarna översållade av bombsplitter och metallskrot. Med ett regeringsbeslut från 1998 blev norra och södra delen av Lilla Rågö samt norra delen av Stora Rågö förklarade som skyddsområde (landskapsskyddsområde). Dessutom har Rågöarna i sin helhet inlemmats i EU-s naturskyddsprogram Natura 2000. I april 2004 fick Lilla Rågö sin första bofasta på öarna efter frigörelsen, Matti Nyman.