Inference, Diffusion, World Models, and More | YC Paper Club

推論速度(inference speed)は単なるコスト削減ではなく、モデルの能力(capability)そのものである。推論が速ければ速いほど、モデルが発揮できる最大知能が高まる。

Speculative Speculative Decoding(SSD)は、ドラフトと検証を並列化することで、Llama 370BモデルをH100 4台で300トークン毎秒で生成可能にし、従来の投機的デコーディングを大幅に高速化した。

Diffusion-MPCは、拡散モデル(diffusion model)をアクション提案と動力学モデルの両方に使用することで、複合誤差を削減し、テスト時に新しい報酬関数や動力学に適応できる。

LeWorldModelは、SigReg正則化を用いて潜在空間の健全性を保つことで、従来のワールドモデルに必要だった複雑なトリックを排除し、1500万パラメータで24GB未満のVRAMで動作可能にした。

PAC-Bayes理論を正しく適用すれば、過剰パラメータ化(overparameterization)は謎ではなく、パラメータ数の増加により平坦な最小値(flat minima)の体積が指数関数的に増加し、より圧縮可能な解が見つかる。

データ制約下で無限の計算資源がある場合、アンサンブル(ensembling)と強力な正則化を組み合わせた手法は、標準的な事前学習と比較して約5倍のデータ効率向上を実現した。

継続事前学習(continued pre-training)において、40億トークンのみを用いてアンサンブルと強力なエポッキングを行うことで、730億トークン全体を使った場合と同等の性能を達成し、17倍のデータ効率向上を実現した。

YC Winter '16バッチからは140社が参加し、そのうち10~15社がユニコーンになった。当時OpenAIの創業者たちがPioneerで活動していた。

インターネット上の人間生成テキストは年間約3%しか増加しないが、事前学習に費やされる計算量は年間4~5倍のペースで増加しており、データポイントあたりの計算量は年々約4倍増加している。

AIと人間の間には、ワットあたりの知能とサンプルあたりの知能において、まだ1~2桁のギャップが存在する。サンプル効率の向上が次の大きな課題である。