ベイズ線形回帰モデルは、連続的な結果を複数の予測変数の線形結合としてモデル化しますが、単一の点推定値ではなく、すべての回帰係数と誤差分散に関する完全な事後分布を生成します。これにより、不確実性の定量化が明示的になり、理論や先行研究からの事前知識をシームレスに組み込むことができます。

古典的なOLS（最小二乗法）は、データに最も適合する単一の線を与えます。一方、ベイズ回帰は、各線がデータをどれだけうまく説明できるか、また各線が事前信念とどれだけ一致しているかに基づいて重み付けされた、すべての妥当な線に関する確率分布を与えます。分布が広いほど不確実性が増し、データが増えるにつれて事後分布は収束します。結果は係数とp値だけでなく、「データと事前情報を考慮すると、変数Xの傾きは95%の確率でこの範囲にある」という完全な確率的記述になります。