東京市赤坂区青山北町(現在の
東京都港区北青山)の
柳原愛子邸に生まれ
[威馬雄の母は明治天皇に仕えていたが、28歳のとき暇が出て柳原邸に下り、行儀見習いをしていた。威馬雄の母は明治天皇に手をつけられそうになったため、そのことを知った愛子によって急遽宮中から自邸に引き取られ、そこでブイと結ばれたという言い伝えもある。その一方でブイと愛子は密通していたという説もあり、こうした経緯から威馬雄の実母を柳原愛子に擬する向きもある。毎日新聞記者の緒方昇(のち詩人となる)が満州で甘粕正彦に威馬雄の安否を気遣ったところ、甘粕は「ああ、あの人(威馬雄)のことなら心配はありません。警察も憲兵も、手をつけることができないのです」「平野という人の出生にからまる問題でしてね。このことは、事いやしくも皇室に関係があることなので、極秘なのです。恐らく当人もそのことを知っているかどうか……それも疑問ですが……」と発言したという。緒方は威馬雄に対して「しもじもの者には知り得べくもないのですが、戦争中、あなたが幾度もつかまりながら、危いところで無事に帰ってこられたり、あなたの知らぬ間に、あなたは守られていたということだけは確かなようです」とも語っており、それに対して三井良尚(やはり元毎日新聞記者で詩人)が「前に、日本放送にいた三ツ林滋だの、他の古手の記者が、内密裡に、その間のいきさつを調べているということだ」「古手の宮中記者の間では衆知の事らしい」と相槌を打っている。『アウトロウ半歴史』pp.340-350(話の特集、1978年)を参照。]、
横浜市西区老松町に育つ。父は
弁護士でThe Japan Society of San Francisco(The Japan Society of Northern Californiaの前身)の初代会長だった
ヘンリイ・パイク・ブイ(Henry Pike Bowie)。ブイはフランス系の米国人だが、遡れば
スコットランドの貴族の家系で、
ナポレオンの最初の皇后
ジョゼフィーヌの近い親族の子孫にも当たる。母は
カトリックを信仰する日本人で
琴の教授だったが、近所では
ラシャメンという蔑称で呼ばれ、差別に苦しんでいた。威馬雄は父から『
家なき子』の登場人物に因みレミと呼ばれて育つ。