贝叶斯回归是一种线性回归的概率化版本，它将模型参数视为不确定的量。它不返回单一的最佳拟合估计值，而是将先验知识与观测数据相结合，为每个参数生成完整的后验概率分布，并从中读取可信区间和预测值。

从对参数的先验信念开始——即在看到数据之前哪些值是可能的——然后用数据中的证据来更新这种信念，以获得后验分布。后验分布不是一个单一的数字，而是一个分布，因此结果带有自身的不确定性：数据能够精确确定的参数具有狭窄的后验分布，而数据对其指示不多的参数则接近先验分布。