?熙寧三年（1070），游酢18歲，慕里人江側之名，到離長坪不遠的江坊村邊石壁山上從江側學。江測，字處中，是當時本縣學識較高的先生。在此山從江側學習的還有葉敦禮、施景明等人。石壁山后改名集公山。此山更名《建陽縣志》記載一個神話般的傳說。話說江側、游酢師生當年在山讀書時，有一天，天上忽然飄下一片桐葉，上書“集公山”三字，江測笑而問道：“此何義？”天空又飄下一葉，上書“集諸賢于此，故名集公山”。接著天上又連續飄下數葉，每張葉子書諸賢人名、官名，及后游酢等人任職果然如當時樹葉上所書。這自然是前人想象編造的故事，然游酢早年曾在集公山上讀書一事，《游氏家譜》有記載。家譜還記載游酢幼年生活艱辛，帶飯去念書時，沒有菜肴，用木頭削了個“木雞腿”，在鹽水中煮得黑糊糊的，抹上些酒糟，舌頭舔一舔，天天就此下飯，學問卻大有長進。