50 MICKAËL CRAMPON & LUDOVIC MARQUISL'ensemble Λ Γ est l'ensemble des points extrémaux de C(Λ Γ ). Ainsi, tout point x deC(Λ Γ ) est barycentre d'au plus n+1 points de Λ Γ . Considérons d'abord l'ensemble C 2 (Λ Γ )des points x ∈ C(Λ Γ ) qui sont sur une droite (ab) avec a, b ∈ Λ Γ (on s'aidera de lagure 19). Comme l'espace (C(Λ Γ ), d Ω ) est Gromov-hyperbolique, le point x est dans unvoisinage de taille au plus δ (pour d Ω ) de (pa) ∪ (pb), pour un certain δ > 0, indépendantde x. Autrement dit, pour tout x ∈ H ∩ C 2 (Λ Γ ), il existe un point y ∈ (pΛ Γ ) tel qued Ω (x, y) < δ. Maintenant, le point z = (py) ∩ H ∈ (pΛ Γ ) ∩ H est le point de H le plusproche de y ; en particulier, d Ω (y, z) d Ω (y, x) < δ. L'inégalité triangulaire donne qued Ω (x, z) < 2δ. On obtient donc que C 2 (Λ Γ ) ∩ H est dans un voisinage de taille 2δ de(pΛ Γ ) ∩ H. On procède par récurrence pour avoir le résultat pour C(Λ Γ ).Figure 19. Preuve du lemme 9.2Lemme 9.3. Soit Γ un sous-groupe discret de Aut(Ω). Si l'action de Γ sur Ω estgéométriquement nie sur Ω alors l'espace métrique (C(Λ Γ ), d Ω ) est Gromov-hyperbolique.Remarque 9.4. La démonstration qui suit est une amélioration de la démonstrationdu lemme 7.10 de l'article [Mar10b] qui est elle-même une amélioration de la démonstrationde la proposition 2.5 de l'article [Ben04]. Elle est indépendante des deux précédentesmais leur lecture préalable peut aider.Démonstration. On va procéder par l'absurde en supposant qu'il existe une suite detriangles (x n y n z n ) de C(Λ Γ ) dont la taille δ n = sup{d Ω (u n , [xz]), d Ω (u n , [y n z n ])} tend versl'inni, u n étant un point du segment [x n y n ].Quitte à extraire, on peut supposer que toutes les suites convergent dans C(Λ Γ ) (l'adhérenceest prise dans P n ), et on note x, y, z, u les limites correspondantes.On va distinguer deux cas. Supposons que u est un point de Ω. Dans ce cas, il faut au moins, pour que δ npuisse tendre vers l'inni, que les points x, y, z soient à l'inni, autrement dit dansΛ Γ , et qu'ils soient deux à deux distincts. Or, l'ouvert Ω étant strictement convexe,la distance de u à la droite (xz) est nie, d'où une contradiction.
Temporal Restricted Boltzmann Machines for Dependency ParsingNikhil GargDepartment of Computer ScienceUniversity of GenevaSwitzerlandnikhil.garg@unige.chJames HendersonDepartment of Computer ScienceUniversity of GenevaSwitzerlandjames.henderson@unige.chAbstractWe propose a generative model based onTemporal Restricted Boltzmann Machines fortransition based dependency parsing. Theparse tree is built incrementally using a shiftreduceparse and an RBM is used to modeleach decision step. The RBM at the currenttime step induces latent features with the helpof temporal connections to the relevant previoussteps which provide context information.Our parser achieves labeled and unlabeled attachmentscores of 88.72% and 91.65% respectively,which compare well with similarprevious models and the state-of-the-art.1 IntroductionThere has been significant interest recently in machinelearning methods that induce generative modelswith high-dimensional hidden representations,including neural networks (Bengio et al., 2003; Collobertand Weston, 2008), Bayesian networks (Titovand Henderson, 2007a), and Deep Belief Networks(Hinton et al., 2006). In this paper, we investigatehow these models can be applied to dependencyparsing. We focus on Shift-Reduce transition-basedparsing proposed by Nivre et al. (2004). In this classof algorithms, at any given step, the parser has tochoose among a set of possible actions, each representingan incremental modification to the partiallybuilt tree. To assign probabilities to these actions,previous work has proposed memory-based classifiers(Nivre et al., 2004), SVMs (Nivre et al., 2006b),and Incremental Sigmoid Belief Networks (ISBN)(Titov and Henderson, 2007b). In a related earlierwork, Ratnaparkhi (1999) proposed a maximum entropymodel for transition-based constituency parsing.Of these approaches, only ISBNs induce highdimensionallatent representations to encode parsehistory, but suffer from either very approximate orslow inference procedures.We propose to address the problem of inferencein a high-dimensional latent space by using an undirectedgraphical model, Restricted Boltzmann Machines(RBMs), to model the individual parsingdecisions. Unlike the Sigmoid Belief Networks(SBNs) used in ISBNs, RBMs have tractable inferenceprocedures for both forward and backward reasoning,which allows us to efficiently infer both theprobability of the decision given the latent variablesand vice versa. The key structural difference betweenthe two models is that the directed connectionsbetween latent and decision vectors in SBNsbecome undirected in RBMs. A complete parsingmodel consists of a sequence of RBMs interlinkedvia directed edges, which gives us a form of TemporalRestricted Boltzmann Machines (TRBM) (Tayloret al., 2007), but with the incrementally specifiedmodel structure required by parsing. In this paper,we analyze and contrast ISBNs with TRBMsand show that the latter provide an accurate andtheoretically sound model for parsing with highdimensionallatent variables.2 An ISBN Parsing ModelOur TRBM parser uses the same historybasedprobability model as the ISBNparser of Titov and Henderson (2007b):P(tree) = Π t P(v t |v 1 ,..., v t−1 ), where each11Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics:shortpapers, pages 11–17,Portland, Oregon, June 19-24, 2011. c○2011 Association for Computational Linguistics