“He is an oyster of a man.”は、山崎貞著の「新々英文解釈研究」という参考書のかなり冒頭の部分に出てくる表現で、その本の訳では、「彼はかき（牡蠣）みたいな（寡黙な）人だ。」となっていました。今は知りませんが、私が高校生の頃は、この本は英語の参考書として必ず買って勉強すべき本の一つという位置付けのもので、実際に買った人も多いと思います。買った人が最後まで読むかというのは別の話ですが、少なくとも買った以上は勉強してみようと思い、最初の方でこの文に遭遇する訳です。著者の山崎貞（やまさき・てい）という人はWebで調べたら1883年生まれ、1930年没の明治生まれのかなり昔の人です。（この本の初版は大正元年、その後大正4年に改訂されて「新」が頭に付き、昭和33年の原著者の没後に更に別の人により改訂され「新々」となっています。「新」は何と105刷まで行っています。）おそらく著者は何かの文学作品等でこの表現にぶつかり、印象的だったので覚えていてここで使ったのでしょうが、問題は”oyster of a man”という表現はネイティブには文字通り「牡蠣のような人」という意味でしかなく、直ちに「寡黙な人」というのには結びつかないことです。先日、Eigoxのレッスンで大学で文化人類学を専攻したかなり頭のいい先生にこの表現の意味が分かるか聞いてみましたが、「何を言っているのか分からない、聞いたことがない。」とのことでした。そして「貝のように寡黙」と言いたいなら、”clam”という単語があり、「二枚貝（ハマグリやアサリなど）」という意味と「寡黙な人」という両方の意味があります。つまり”He is (like) a clam.”と言えば済む話です。（日本でも、昔フランキー堺主演の「私は貝になりたい」というTVドラマがありました。）また句動詞で”clam up”という表現もあり、”He clammed up on my question.”（彼は私の質問に対し黙ってしまった。）のように使います。また、”clam of a man”なら、このページで実際に使われていました。
要するに、”～of a man”は「～のような人」という比喩（直喩）の表現に過ぎず、ここで覚えるべきなのはその”～of a man”の方で、oysterはどうでもいいということです。”He is a beast of a man.”だったら、誰でも「彼は野獣のような人だ。」ですぐに通じます。
しかし、ともかくもoysterの印象は強烈なので、多くの学生が英語ではこういう風に言うんだとこの文を暗記し、社会人になった時にネイティブ相手に使って、まったく理解してもらえない、という事態になります。
ちなみに、Yahoo! ANSWERSというサイトで、ネイティブに「この表現を使うことがあるか」と聞いた人がいますが、回答は「使ったことがない」「意味が分からない」でした。

一応OEDには、確かにoysterで「無口な人、他人とあまりコミュニケーションをしない人」という意味が載っています。しかし、用例に”an oyster of a man”はありませんし、一番新しい用例で1930年のものです。その中のトップはマーク・トウェインのものです。実はclamの「寡黙な人」という用例にもマーク・トウェインが出てきます。そして「新々英文解釈」でも練習問題などにマーク・トウェインが登場します。とすると、”an oyster of a man”はもしかするとマーク・トウェインの何かの作品に登場していたのではないかと思います。

4. A reserved or uncommunicative person. Cf. clam n.2 2.
a1910 ‘Mark Twain’ Let. in C. Clemens My Father, Mark Twain (1931) iv. 47 The Tribune review of Roughing It was written by the profound old stick who has done all the Tribune reviews for the last 90 years. The idea of setting such an oyster as that to prating about Humor!
1925 M. Wiltshire Thursday’s Child xi. 221 I wouldn’t mind betting Jane’s worrying herself sick over it; and he—goodness knows what he’s doing or feeling. I never saw such an oyster.
1930 J. B. Priestley Angel Pavement vi. 305 I never knew anybody so close, you old oyster you!

その後、出典らしきものを突き止めました。ここをご覧下さい。