桓武天皇の渡来系一族の賜姓により元々あったその実力が更に増してたった5代で朝廷の頂点にまで上りつめた。
これでは朝廷内の摂関家の藤原氏や政治に加わった源氏はせっかく嵯峨天皇が努力した改革が生かされない。しかし、藤原氏も源氏も勢力はもったのだが、余りにも大き過ぎる集団である。
現に、渡来系平氏が著しい台頭を見せた1000から1080年頃は源氏は花山源氏の賜姓があった頃までである。既に12代目の源氏が誕生しているのである。しかし、12代の源氏と8代の藤原氏（秀郷）が結束しても渡来系一族の台頭は止められなかったのである。
この頃源氏は清和源氏が最大勢力を持ち、一族が藤原氏の摂関家に長年仕えて結束は図って居た。この時、摂関家の藤原氏と清和源氏は賜姓5家青木氏の守護地に対して2つの政策を実施している
1　賜姓青木氏の守護地の全てに清和源氏の頼光が守護になってい　る。（10年程度の間に5国の歴任し兼任している）
　余りにも早すぎ、普通は25−30年位は必要である
2　賜姓5家の青木氏に対して全てに一族の者が跡目に入っている。　頼光以後地元の青木氏との間に血縁関係を持っち最終は跡目にあ　入ることで結束を図っている。
この二つのことは頼光だけでは出来ないことである。政治的な承認が必要である。頼光とその一族は摂関家に務めている事から可能である。渡来系一族の台頭に対して、生き延びるために、藤原氏と清和源氏と賜姓5家青木氏の３者が結束して固めたのである。余りにも不自然な行動である。
その証拠に清和源氏の一族の妻は殆どが藤原氏である。清和源氏と藤原氏と青木氏との3者の血縁関係を構築したのである。伊勢青木氏や他の青木氏の中には藤原氏との血縁がも見られる。元々は賜姓時には伊勢青木氏を除く4家の青木氏は藤原氏との血縁子孫である。
つまり、準備態勢が出来たこの３者連合で対抗しようとしたことを意味する。
一方、背景3のレポートに記した様に、この時期は朝廷内では内紛が起こっているのである。この3者の動きに対して天皇や法王も藤原氏や源氏も巻き込んで、勢力争いが始まったのである。それが遂には、保元、平治の乱へと火蓋が切られたのである。
この初期の争いが思わぬ方向へと進み、天皇家一族内部の争いが、藤原氏の内部分裂を起し、清和源氏を含む12源氏も内部での意見対立の兄弟や親族や源氏一族の抗争が起こったのである。
この原因で、5家青木氏は連携が外れて、子孫を遺せないまでも衰退した。源氏は12源氏もいたが3源氏に一族は激減した。9源氏の子孫の存在を確認出来ないまでも衰退した。滅亡に近く調査するが明確にならない。それだけではなく、清和源氏内部さえも縮小になった。3大源氏の子孫が残るのみである（清和、村上、醍醐）
この源氏も名乗りを挙げている5氏に引き継がれているが、家紋が違うために疑問である。
このように3者連合は子孫を減らし、思わぬ方向へと進んだのである。賜姓青木氏は伊勢青木氏（本家現存）を除く、4家の青木氏の行方が明確にならない。調査では、2氏の青木氏が関東に移動していることがわかってきているが、この2氏も自己のルーツが確認出来ないでいる様子である。

折角、嵯峨天皇の5つの作と2つの政策で賜姓青木氏は行きを吹き返したが、3者連合が思わぬ方向へと進み、国乱が起こり、再び源氏を含む青木一族は衰退する方向へと進んだ。そして、秀郷流青木氏のように行かず、子孫を多く遺す事ができなかつたのである。
この事が、5家青木氏を弱める結果となり、衰退し子孫を多く遺せなかった原因と見られる。