Pasaulio sporto raida priklauso nuo to, kas vadovaus tarptautiniam olimpiniam komitetui. Juk Olimpinio komiteto vadovas nėra tik valdininkas, bet ir daug vilčių turintis žmogus susiduria su sunkiomis užduotimis. Todėl atsitiktinis asmuo negali būti tokioje vietoje.
Tarptautinio olimpinio komiteto vadovas yra jo prezidentas. Šis postas yra pasirenkamas. Komiteto vadovas renkamas specialiai organizuotoje sesijoje slaptu balsavimu. TOK vadovo kadencija numatyta 8 metams, tačiau kas ketverius metus jie gali būti pratęsti dar 8 metams. Komiteto pirmininkas gali būti visuomenės veikėjas, žinomas ir garsus savo kalbomis, labdara ir kitais dalykais, kurie daromi tėvynės labui ir viso pasaulio vystymuisi.
Pirmasis prezidentas buvo išrinktas 1894 m., Kartu su Olimpinio komiteto atsiradimu. Jis buvo graikų poetas ir visuomenės veikėjas, vardu Demetrijus Vikelas. Jo pavaduotoju buvo paskirtas ideologinis pirmųjų mūsų laikų olimpinių žaidynių įkvėpėjas baronas Pierre'as de Coubertinas. Tačiau praėjus vos dvejiems metams po pirmųjų žaidynių triumfo, tas pats baronas de Coubertinas pakeitė Wickelas kaip TOK prezidentą. Jis ėjo šias pareigas iki 1925 m.
Dėl to, kad įgaliojimai gali būti pratęsti, tik 8 prezidentai per 100 metų lankėsi Tarptautinio sporto komiteto vadovo poste.
De Coubertiną pakeitė Henri de Bole-Latour, kuris kėdėje išbuvo 17 metų. Kitas buvo Siegfriedas Edstromas - jis buvo prezidentas 1946–1952 m. Jį pakeitė Avery Brandage iš JAV. Jis 20 metų vadovavo IOC iki 1972 m. Jo įpėdinis Michaelas Morrisas Killaninas, airis, praleido vieną kadenciją Komiteto vadovu. Tada 21 metus į vadovybę atėjo Juanas Antonio Samaranchas. Nuo 2001 m. Iki šiandien Tarptautinio olimpinio komiteto prezidentas yra belgas Jacques'as Rogge'as.
Tačiau vien prezidentas sunkiai galėjo valdyti komitetą. Todėl yra ir tokių direktorių padėjėjų kaip 4 viceprezidentai ir 10 eilinių komiteto narių, kurie taip pat renkami slaptu balsavimu. Jų kadencija yra 4 metai. Be to, iniciatyvinį komitetą sudaro 25 žmonės, kurie čia vadinami „garbė“ - tie, kurie anksčiau buvo komiteto nariai. Į IOC taip pat įeina garbingi nariai, kurie nebuvo Olimpinio komiteto nariai, tačiau judėjimui suteikė neįkainojamų paslaugų.
Komiteto sudėtį sudaro 110 narių iš 70 šalių. Darbo principas yra toks: tie, kurie yra Tarptautinio olimpinio komiteto nariai, nėra jame savo šalių atstovai, o, priešingai, atstovauja reguliavimo institucijai savo tėvynėje.