\ 一般的に、SDPとMomentはPGDに比べて平均テスト精度と加重F1スコアでわずかな向上が観察されます。特に、Momentはほとんどの設定においてSDPに比べてより一貫した改善を示すことが観察されます。さらに、MomentはSDPよりも小さい最適性ギャップ𝜂を与えます。これは、MomentがSDPよりも厳密であるという我々の期待と一致します。

\ 例えば𝐾 = 5の場合など、一部のケースではMomentがPGDとSDPの両方に比べて著しく小さい損失を達成しますが、一般的にはそうではありません。これらの損失は最大マージン双曲分離器の汎化可能性の直接的な測定値ではなく、マージン最大化と𝐶でスケールする誤分類のペナルティの組み合わせであることを強調します。したがって、SDPとMomentから抽出された解を使用して計算された損失がPGDよりも高い場合があるにもかかわらず、テスト精度と加重F1スコアのパフォーマンスが優れているという観察は、複雑な損失ランドスケープによるものかもしれません。より具体的には、観察された損失の増加は、最適化手法の有効性よりもランドスケープの複雑さに起因する可能性があります。精度とF1スコアの結果に基づいて、経験的にSDPとMoment手法は、勾配降下のみを実行して得られる解よりも汎化性の高い解を特定します。ハイパーパラメータの効果に関するより詳細な分析を付録E.2に、実行時間を表4に示します。ガウシアン1の決定境界を図5に可視化しています。

\ 図3:3つの合成ガウシアン(上段)と3つのツリー埋め込み(下段)。すべての特徴はH2にあるが、B2上のステレオ投影を通じて可視化されている。異なる色は異なるクラスを表す。ツリーデータセットでは、グラフの接続も可視化されているが、訓練では使用されていない。選択されたツリー埋め込みはMishne et al. [6]から直接取得したものである。

\ 合成ツリー埋め込み。双曲空間はツリーの埋め込みに適しているため、ランダムなツリーグラフを生成し、Mishne et al. [6]に従ってH2に埋め込みます。具体的には、指定されたノードの子であればポジティブ、そうでなければネガティブとラベル付けします。次に、モデルをサブツリー分類のために評価し、同じサブツリー内のすべての子ノードを含む境界を特定することを目指します。このようなタスクには様々な実用的応用があります。例えば、ツリーがトークンのセットを表す場合、決定境界は、データグラフのサブツリーに対応する双曲空間内の意味的領域を強調することができます。このようなサブツリー分類タスクにおける一般的な特徴は、データの不均衡であり、これは通常、汎化可能性の低下につながることを強調します。したがって、この困難な設定下で我々の手法のパフォーマンスを評価するために、このタスクを使用することを目指します。3つの埋め込みが選択され、図3に可視化され、パフォーマンスは表1にまとめられています。選択されたツリーの実行時間は表4に記載されています。ツリー2の決定境界は図6に可視化されています。

\ 合成ガウシアンデータセットの結果と同様に、SDPとMomentはPGDに比べて優れたパフォーマンスが観察され、GD手法が通常苦手とするデータの不均衡により、この場合、加重F1スコアでより大きな向上が見られます。さらに、SDPには大きな最適性ギャップが観察されますが、Momentには非常に小さいギャップがあり、クラスの不均衡が深刻な場合でもMomentの最適性を証明しています。

\ 表1:𝐶 = 10.0の合成ガウシアンおよびツリーデータセットにおけるパフォーマンス:5分割テスト精度と加重F1スコア(±1標準偏差)、およびSDPとMomentの平均相対最適性ギャップ𝜂。

:::info 著者:

(1) Sheng Yang, John A. Paulson School of Engineering and Applied Sciences, Harvard University, Cambridge, MA (shengyang@g.harvard.edu);

(2) Peihan Liu, John A. Paulson School of Engineering and Applied Sciences, Harvard University, Cambridge, MA (peihanliu@fas.harvard.edu);

(3) Cengiz Pehlevan, John A. Paulson School of Engineering and Applied Sciences, Harvard University, Cambridge, MA, Center for Brain Science, Harvard University, Cambridge, MA, and Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University, Cambridge, MA (cpehlevan@seas.harvard.edu).

:::

:::info この論文は、CC by-SA 4.0 Deed(表示-継承 4.0 国際)ライセンスの下、arxivで入手可能です。

:::

市場の機会

Treehouse価格(TREE)

$0.095

$0.095$0.095

-2.16%

USD

Treehouse (TREE) ライブ価格チャート

免責事項：このサイトに転載されている記事は、公開プラットフォームから引用されており、情報提供のみを目的としています。MEXCの見解を必ずしも反映するものではありません。すべての権利は原著者に帰属します。コンテンツが第三者の権利を侵害していると思われる場合は、削除を依頼するために service@support.mexc.com までご連絡ください。MEXCは、コンテンツの正確性、完全性、適時性について一切保証せず、提供された情報に基づいて行われたいかなる行動についても責任を負いません。本コンテンツは、財務、法律、その他の専門的なアドバイスを構成するものではなく、MEXCによる推奨または支持と見なされるべきではありません。