Redes Neurais Bayesianas - BNNs¶
Atualmente, as redes neurais profundas que conhecemos ficaram famosas por sua alta capacidade de entender padrões nos dados e ligá-los à alguma quantidade desejada (magnitudes e redshifts ou classes morfológicas, por exemplo). Porém, apenas este mapeamento não é suficiente para várias situações, sendo de extrema importância também obter estimativas da incerteza.
Como já falamos antes, existem dois tipos de incertezas que, quando somadas, resultam na incerteza preditiva, a incerteza 'total' de cada estimativa feita pela rede:
- Aleatória
- Epistêmica
De novo, uma medida da incerteza é essencial para entendermos quais são os limites dos nossos modelos e verificarmos a sua confiança nas predições.
O grande diferencial das BNNs é o fato de que cada peso da rede é uma distribuição, não um número único. Esta distribuição pode ser aprendida durante o processo de treinamento ou pode ser fixa.
Mas qual é a vantagem desse approach?¶
O 'problema' das redes neurais profundas é que elas maximizam a verossimilhança (maximum likelihood) da amostra de treinamento dado os parâmetros da rede (ou seja, $P(D|w)$), de forma que ela acaba sendo optimizada exclusivamente para o range de parâmetros que a amostra de treinamento abrange, diminuindo sua capacidade de generalização.
Podemos melhorar um pouco essa situação utilizando técnicas de regularização, como dropout, L1, L2, early-stopping e por aí vai. Porém ainda falta uma coisa neste tipo de rede: uma estimativa da incerteza da predições.
Não só isso, BNNs são mais robustas à over-fitting e tem maior capacidade de aprender a partir de conjuntos de dados menores.
Os parâmetros destas distribuições, que agora representam os pesos, são estimados com inferência Bayesiana, que usa o teorema de Bayes:
$P(w|D) \propto P(D|w) \cdot P(w)$, onde
- $P(w|D)$ é a distribuição posterior dos parâmetros;
- $P(D|w)$ é a verossimilhança dos dados;
- $P(w)$ é a distribuição à priori dos parâmetros.
Todo esse processo é muito pesado computacionalmente, talvez impossível para grandes redes. Por isso utilizamos aproximações como, por exemplo, aproximar a distribuição posterior como uma Gaussiana (posterior variacional - $q(w|D)$), ajustando os parâmetros desta distribuição para serem o mais próximo possível do posterior verdadeiro ($P(w|D)$). Isto é feito minimizando a divergência Kullback-Leibler entre esta distribuição simples e o posterior verdadeiro.
Algumas leituras:
- Bayesian Neural Network Series (série com 8 posts sobre BNNs)
- The very Basics of Bayesian Neural Networks
- Knowing What You Know in Brain Segmentation Using Bayesian Deep Neural Networks (fonte das imagens)
- Probabilistic Programming & Bayesian Methods for Hackers
- Variational inference in Bayesian neural networks
