伯爵有馬頼寧の三男として
東京市赤坂区青山に生まれる。母貞子は
北白川宮能久親王の第二女子。頼寧の母寛子は
岩倉具視の五女。頼義の妹澄子は
足利惇氏の妻。末妹の正子は
亀井茲建の妻であり、
衆議院議員亀井久興は頼義の甥にあたる。兄2人の早世と病弱により早くから伯爵家を嗣ぐことを決められる一方、有馬家と母の実家・北白川宮家の複雑な家庭環境
[父・頼寧の実母は岩倉具視の娘であったが、頼寧出産後、有馬家によって一方的に理由不詳のまま岩倉家に返され、離婚に追い込まれた(後に森有礼と再婚)。母・貞子は側室出生であったが、北白川宮家での貞子母子の立場の悪化を懸念した有馬韶子(有栖川宮韶仁親王女)によって有馬家に迎えられた。この時に貞子の母も有馬家に同行したが、あくまで「女中」という扱いをされたため、実娘の貞子からですら呼び捨てにされるという奇妙な状態であった。(参考文献 『想い出の作家たち 2』文藝春秋編 ISBN 4163478604)]を肌で感じる多感な幼少期を過ごした。