Choix des paires stockées

Il reste un degré de liberté dans l'algorithme L-BFGS, celui du choix des paires

stockées. L'algorithme (3.2) montre que le préconditionneur diagonal doit ressembler autant que possible à $W_{k-M-1}$ . Ceci suggère d'utiliser la paire qui est sur le point d'être effacée, la plus vieille paire, $(s_{k-M},y_{k-M})$ pour mettre à jour la matrice diagonale

. Pour les

premières itérations, la matrice diagonale initiale doit être utilisée. Ceci est en accord avec le fait que toute l'information provenant des

dernières itérations est entièrement stockées dans les paires

. Néanmoins, il est envisageable d'utiliser pour la mise à jour du préconditionneur diagonal la dernière paire

construite, la paire la plus récente. Cela va donc avoir tendance à rajouter du poids sur l'information récemment construite.

**Figure 3.2:** Spectre de l'opérateur $W^{-1}_{true}-W^{-1}_{L-BFGS}$ pour les différentes formules de mise à jour en utilisant les paires les plus vieilles (a) et les plus récentes (b) respectivement. Spectre de l'opérateur $I-W^{-1}_{true}W_{L-BFGS}$ pour les différentes formules de mise à jour en utilisant les paires les plus vieilles (c) et les plus récentes (d) respectivement.
$\includegraphics[width=14cm]{chap3.fig/quad_never.eps}$

Pour étudier la différence entre ces deux façons de stocker les

paires, les formules de mise à jour sont utilisées sans mise à l'échelle. Les spectres des deux opérateurs de comparaison des hessiennes sont représentés sur la figure 3.2. Il est clair que l'utilisation des paires les plus récentes fournit une approximation de la hessienne bien meilleure qu'en utilisant les paires les plus anciennes.

Tableau 3.1: Nombre d'itérations/simulations nécessaires à la convergence pour les différentes formules de mise à jour sans mise à l'échelle, en utilisant la paire la plus vieille ou la plus récente.

Formule	Paire la plus vieille	Paire la plus récente

BFGS directe	77/78	40/52
BFGS inverse	69/70	42/84
DFP inverse	68/69	42/84
Quasi-Cauchy	96/103	120/130

Le tableau 3.1 montre les nombres d'itérations et de simulations correspondantes nécessaires à la convergence. À part pour la formule BFGS directe, l'utilisation de la paire la plus récente augmente le nombre de simulations, même si cela diminue d'un autre côté le nombre d'itérations. La formule de quasi-Cauchy a des résultats globalement moins bons que les trois autres formules de mise à jour. L'utilisation de la paire la plus récente avec la formule de mise à jour BFGS directe semble donner à la fois une bonne approximation de la hessienne et accélérer la convergence.