골프는 다른 스포츠와 달리 창시자나 그 기원이 확실하지 않다. 초창기 골프의 역사를 파악하는 일은 거의 대부분을 상상력에 의존하는 수밖에 없다. 미국골프협회(United States Golf Association, USGA)는 로마시대 시이저 황제(BC100~44)때 로마인들이 파가니카라는 경기를 했다는 기록이 바로 골프의 기원이라고 주장하고 있다. 한편 또 다른 사람들은 프랑스의 죄 드 마이(jeu de mail)나 네덜란드의 콜벤(kolven)이라는 경기가 골프로 발전됐다고 주장하기도 한다. 파가니카는 경기 규칙이 알려져 있지 않지만 병사들이 야영지에서 휴식 시간에 한 쪽 끝이 구부러진 스틱과 새털로 속을 채운 공을 치며 즐기는 경기였다. 로마인은 기원전 1세기 무렵에 전 유럽을 정복하고 영국 해협을 건너가 잉글랜드와 스코들랜드를 점령한 후 4세기까지 머물러 있었다. 이때 원주민에게 이 경기가 전파됐다고 한다. 이것이 골프의 전신이었다고 믿어지고 있다.

이와 유사한 경기가 네덜란드, 벨기에, 프랑스 등지에도 있었다. 이러한 주장의 사실 여부와 무관하게 한 가지 분명한 것은 골프를 탄생시킨 개척자는 바로 스코틀랜드 사람들이라는 사실이다. 따라서 일반적으로 스코틀랜드가 골프의 발상지라고 인정되고 있다. 그러나 애초에 골프가 크게 성행한 곳은 베네룩스 3국 일대였다는 설도 있다. 골프는 스코틀랜드에서 15세기에 유행됐는데 네덜란드에서 15세기 훨씬 이전에 그린 것으로 추정되는 몇 점의 그림이 발견됐다. 이 그림 가운데 초기의 골프클럽과 매우 흡사한 모양의 구부러진 스틱에 기대고 선 네덜란드인의 그림과 헤드가 큰 골프클럽을 팔에 안고 서 있는 소녀의 그림이 있다.스코틀랜드에서 골프가 정식으로 선을 보이기 전에 북부 프랑스와 네덜란드에 골프와 아주 비슷한 경기가 있었다는 것은 틀림이 없다. 지금도 이곳의 초지에선 주민들이 이 경기를 하는 모습을 간간이 볼 수 있는데 골프보다 당구나 하키에 가까운 것이다.

네덜란드인들 사이에 'kolf'라고 불린 이 경기는 2피트 높이의 담 벽에 둘러싼 가로 60피트, 세로 25피트의 지면이 평평한 장방형 구역 안에서 행하는 것이었다. 이 장방형 구역의 한편 담 벽에서 10피트 떨어진 위치에 직경 5인치의 기둥을 좌우에 세우고 반대편에서 공을 봉으로 쳐서 맞추는 경기다. 경기자는 놋쇠로 만든 무거운 헤드를 붙인 4피트길이의 클럽과 철사로 꿰맨 야구 공만한 크기의 탄력 있는 공을 사용한다. 두 개의 기둥을 가장 적은 타수로 맞춘 자가 승자가 된다. 비겼을 때는 공의 위치와 담 벽의 근접 거리로 판정했다. 따라서 힘보다 기술과 섬세한 터치가 요구되는 경기다. 이점은 당구나 크로켓과 같다.

1350년대의 기록에 나타나 있는 라틴어로 'Choulla', 불어로'Choulle'라는 경기는 'kolf'보다 현재의 골프와 비슷했다. 이것은 벨기에 사람중 특히 농민들 사이에 크게 유행했다. 이 경기는 매우 단순했다. 필요한 도구는 커다란 쇠머리를 붙인 클럽과 목재(밤나무)로 만든 달걀 형태의 공을 사용했다. 경기 방법은 출발점과 목표 지점(나무나 돌, 기둥 따위)으로 나뉜 약 1/2마일 길이의 코스에서 나무나 돌, 기둥 따위의 목표를 적은 타수로 맞추는 것으로 1대 1, 혹은 3~4인으로 팀을 짜서 대항했다. 그들은 흔히 내기를 많이 했다. 먼저 가장 적은 타수로 맞추겠다고 선언한 사람이 이에 맞서 내기를 건 상대방과 경기를 벌이게된다. 예를 들어 A라는 사람이 6타로 맞추겠다고 밝혔으면 상대방은 될수록 타수를 늘리려고 A의 플레이를 방해한다. 이 때 움직이는 공은 칠 수 없으며 반드시 정지된 상태의 공을 쳐야 했다. (이 점이 골프와 같다.) 먼저 A가 3번 연속해서 공을 칠 권리를 가지며 그 다음부터 상대방이 치는데 상대방은 될수록 목표의 반대쪽이나 치기가 곤란한 개울이나 담 밖으로 친다. 이렇게 경기해서 이긴 편이 내기에 걸린 돈을 차지했다. 팀을 구성해서 시합할 때는 공격측과 수비측으로 나눠 양 팀이 교대로 타구했다. 따라서 승패를 가리는 모든 경기가 그렇듯 플레이가 난폭해지는 일이 많았다. 당시의 법전 기록을 보면 쇠머리 클럽으로 경기도중 상대방의 머리를 때려 상처를 입히는 사례가 많았다.

프랑스 역시 이것과 비슷한 펠 멜(Pell Mell)이라는 나무 그루터기에 둥근 쇠테를 걸고 멀리서 새털 공을 쳐넣는 경기가 있었다. 결국 유럽 각국마다 골프와 비슷한 경기가 오래 전부터 있었던 것은 의심할 여지가 없으며 역사를 기록할 수 없는 유사이전의 목동들이 그들의 긴 지팡이로 술내기 공치기를 하던 것이 차츰 발전해 이러한 경기가 됐는지도 모른다. 그러나 이것은 어디까지 추측일 뿐이지 확실한 근거는 없다.단지 유일한 자료는 고고학자들이 암흑시대 이전의 것으로 보이는 끝이 단단한 타구 봉을 발견한 것과 미국의 골프 전당에 15세기 스코틀랜드에서 사용했던 클럽과 비슷한 여러가지 모양의 클럽이 있을 뿐이다.