O Comitê Olímpico Brasileiro (COB) foi criado em 8 de junho de 1914, na sede da Federação Brasileira das Sociedades de Remo, no Rio de Janeiro, em uma reunião realizada por iniciativa da Liga Metropolitana de Esportes Atléticos e que contou com a participação de representantes de sociedades esportivas brasileiras atuantes na época. Foi o primeiro Comitê Nacional Olímpico da América do Sul.

No entanto esse Comitê, presidido por Fernando Mendes de Almeida, não chegou a funcionar devido ao início, nesse mesmo ano, da Primeira Guerra Mundial, que destruiu a Europa e impossibilitou a realização dos Jogos Olímpicos previstos para Berlim, na Alemanha, em 1916.

Somente em 20 de maio de 1935, o COB voltou a ser reorganizado, numa iniciativa dos representantes brasileiros no Comitê Olímpico Internacional (COI): ministro Raul do Rio Branco, Arnaldo Guinle e José Ferreira Santos. Iniciativa que contou que contou ainda com o apoio e o incentivo do Conde Henri de Baillet-Latour, então presidente do COI. O primeiro presidente do Comitê Olímpico Brasileiro nessa nova etapa foi Antônio Prado Junior.

Mas, mesmo antes de contar com um Comitê oficial organizado, o desporto olímpico do Brasil já era reconhecido pelo COI. Em 1913, o brasileiro Raul Paranhos do Rio Branco foi eleito membro do COI. Em 1923, mais dois representantes do Brasil elegeram-se: Arnaldo Guinle, um dos grandes incentivadores da criação do Comitê brasileiro, e José Ferreira Santos.

Outra prova do reconhecimento do Brasil como integrante do órgão internacional está no convite ao país para participar dos Jogos Olímpicos de 1920, em Antuérpia, na Bélgica. Dois anos depois, o COI aprovaria a realização dos Jogos Latino-Americanos, no Rio de Janeiro. A competição fez parte das comemorações do Centenário da Independência do Brasil, em 1922.

Foi a partir dos Jogos Olímpicos de Berlim, em 1936, que o COB, reorganizado, passou a ser o órgão responsável oficialmente pelas Delegações Brasileiras enviadas à competição. Antes disso, o órgão encarregado era a então chamada Federação Brasileira de Sports, criada em 1914 e depois transformada em Confederação Brasileira dos Desportos (CBD).

Os principais objetivos do COB são representar o Olimpismo e difundir o ideal olímpico no território brasileiro, além de organizar e dirigir a participação do Brasil nos Jogos Olímpicos, Pan-Americanos e Sul-Americanos e em outros da mesma natureza, ou realizá-los quando o Brasil for sede. Também é sua função representar o esporte olímpico brasileiro junto ao COI, mantendo relações com os Comitês Nacionais Olímpicos de outros países e com as Federações Internacionais Esportivas e as outras reconhecidas pelo COI.