refer, referenceの意味は一見難しい
referという単語には、ちょうど同じようなことを意味する日本語がないように思います。
例えば、このreferを他動詞として使い、refer someone to ～というと、「だれだれを～に紹介する」というような意味になります。
1. The doctor referred the patient to a specialist hospital.
「医師は患者を専門病院に紹介した。」
この場合、「紹介した」と言っても、普通に人として紹介する(introduce)わけではなく、その医者では対応できない専門的な診断や治療が必要だから、その患者がその専門病院に行ってくれるよう、紹介状を書いて差し向ける、というような意味ですね。
受動態でもよく使い、上記の文は、もちろん、受動態にすると下記のようになります。
2. The patient was referred to a specialist hospital by the doctor.
「患者はその医者に、専門病院を紹介された。」
自動詞として使った場合、「～を参照する」というような意味になります。
3. I referred to the book for more information.
「私は、もっと情報を得るために、その本を参照した。」
あと自動詞では、refer to something(someone) as ～「なになに（だれだれ）のことを～と呼ぶ、～と言及する」という使い方をよくします。
4. People refer to him as a “genius”.
「人々は彼のことを「天才」と呼ぶ。」
同様に、受動態もよく使い、上記の文は下記のようになります。
5. He is referred to as a “genius”.
「彼は「天才」と呼ばれている。」
（この場合、refer to で一つの他動詞にようにとらえて、toを忘れないことが大切です。）
名詞形のreference [réfərəns]は、「言及」「参照」「参考図書」「身元保証」などと訳されています。
そのほか、関連語としてreferee「審判、レフリー」などがありますね。
なんだか、全体的な意味の統一性がないような、意味のつながりが覚えにくいような感じがしませんか？
referの意味は、「戻す」、「戻る」と考えればよい
この単語の意味を統一的に理解して記憶するにはどうしたらよいでしょうか？
語源的にいうと、referのre-は「戻って」(back)という意味で、-ferという部分は「運ぶ」(carry, bring)というような意味です。
「戻って運ぶ」(carry back, bring back)のですから、他動詞の場合は「必要な場所に戻す」と考えてはどうでしょう？
そうすると、上記の1.の例文の場合、「医者は患者を必要な場所に戻した」ということになります。
もちろん、患者はその専門病院に行ったことがないのですから、「戻した」という訳はおかしいのですが、「（現在の場所では不十分なので）必要な場所に連れて行ってあげた」というように取ればいいと思います。
また、自動詞の場合は、carry oneself back, bring oneself backと言い換えることができると思います。つまり、「自分を戻す」のですから、「（自分が）必要な場所に戻っていく」と考えられます。
3.の例文では、自分の持っている情報では足りないので、もっと必要な情報が書かれているその本に「自分を戻した」、「自分を連れて行った」、つまり「その本のところまで行って、参照した」という風に考えるとよいと思います。
4.で、refer toが「言及する」（言い及ぶ）という意味になるのは、「（人が）そこに行く」ということから、「（人が）そのことを言う」という意味になったのだと推測します。
そのため、People refer to him as a “genius”.は、「人は彼のことを「天才」と言う」という意味になるのだと思います。
一方、名詞形のreferenceが、「参照」になるのは上記の説明からわかると思います。
「参考図書」になるのは、自分の持っている情報では不十分のときに参照する図書だからですね。
「身元保証」などの意味は、ある人が信頼できるかどうかわからないときに、さらに情報を求めて自分が「戻っていく」人のことを意味しています（「参考図書」の図書が人になったと考えてもいいかもしれません）。
refereeの-eeの部分は受け身を示しているので、referされる人、という意味です。審判は、勝ち負けや反則があったかどうかなどがわからないとき、その判断を求めて人が戻っていく対象となる人ですよね？
このように考えることによって、referやreferenceの意味が統一的に理解できて、覚えられるようになるといいと思います。