log

graphanalysis.org
  • No tags were found...

Kronecker Graphs - GraphAnalysis.org

6 TECNOLOGÍA EDUCATIVALos antecesores más próximos de las actuales computadoras fueron diseñados enEstados Unidos con el objeto de satisfacer requerimientos militares, específicamentedel área de la balística, en el seno del Massachusetts lnstitute of Technology paracalcular las ecuaciones diferenciales que permitirían dirigir los proyectiles al blanco.Los medios y los métodos tecnológicos que se incorporan al campo educativotienen su origen en otros ámbitos, generalmente en las empresas o en el área militar.Este traspaso de medios y métodos de un campo a otro, de forma acrítica, arrastra losconceptos y las valoraciones de la racionalidad instrumental o técnica, de forma tal que,desde el surgimiento de los primeros medios audiovisuales (radio, televisión, vídeo,etcétera) hasta el desarrollo de las nuevas tecnologías de la información se inicia undiscurso en el que se considera imprescindible la innovación tecnológica o lamodernización de la escuela. Esta perspectiva considera que la incorporación de lasnuevas tecnologías a la educación son por sí mismas determinantes del mejoramientode la enseñanza.NUEVAS TECNOLOGÍAS DE LA INFORMACIÓN:EDUCACIÓN Y TRABAJOLas tecnologías creadas por las diversas culturas han actuado a veces como prótesisdel desarrollo humano, y permitido aumentar, por ejemplo, la capacidad muscular,sensorial o cognitiva. 3Al principio de nuestro siglo, las máquinas de vapor posibilitan la industrialización:aumentan la producción masiva de bienes y servicios y permiten su rápido transporte.La función principal de estas máquinas fue sustituir y amplificar el trabajo físico delhombre. En la sociedad actual, las máquinas informáticas, junto con lastelecomunicaciones y la microelectrónica, hacen posible la producción masiva ysistemática de información, tecnología y conocimientos; su función principal es lasustitución y amplificación del trabajo mental del hombre.La expansión de la economía del conocimiento suele ser valora- da como un granprogreso social en la transición de la economía del músculo a la economía delintelecto, un salto cualitativo del simius nudus al simius informaticus (Gubern, 1991).Con las nuevas tecnologías informatizadas, el trabajo adquiere una nuevaconformación: se pueden mencionar los cambios que se producen sobre el empleo, lascalificaciones profesionales, las relaciones laborales, las condiciones y el medioambiente de trabajo.Además, han conformado un conjunto de nuevas ocupaciones, (analistas desistemas, programadores, ingenieros electrónicos, expertos en robótica, ingenieros entelecomunicaciones, obreros especializados en máquinas de control numérico,etcétera). Pero también se han producido cambios en las formas de desarrollar lostrabajos tradicionales. Por ejemplo, "burótica" u "ofimática" son términos que seutilizan para denominar al conjunto de tecnologías usadas en la oficina automatizada(utilización de programas de computación especiales o utilitarios -planillas de cálculo,3 Jerome Bruner (1988) desarrolla algunas explicaciones teóricas de la capacidad cognitiva humana para "ir más alláde la información dada", a partir de las "prótesis" que proporciona la cultura como andamiaje del desarrollo cognitivode la especie. Entre estas "prótesis" se destacan las estructuras narrativas, 1as teorías físicas y matemáticas y lossaberes tecnológicos.5


• None of the existing models generatesgraphs with these properties• We need a new model• Idea: Generate graphs recursivelyRecursion(fractals)Skeweddistributions(power‐laws)Jure Leskovec: Kronecker Graphs6


• There are many obvious (but wrong) ways:Initial graphRecursive expansion• Does not densify, has increasing diameter• Kronecker Product is a way of generatingself‐similar matricesJure Leskovec: Kronecker Graphs7


[PKDD ’05]• We propose a growing sequence of graphs byiterating the Kronecker product• Each Kronecker multiplication exponentiallyincreases the size of the graph• G k has N 1k nodes and E 1k edges, so we getdensificationJure Leskovec: Kronecker Graphs10


[PKDD ’05]• Continuing multypling with G 1 weobtain G 4 and so on …Jure Leskovec: Kronecker GraphsG 4 adjacency matrix11


[PKDD ’05]• Create N 1 ×N 1 probability matrix P 1• Compute the k th Kronecker power P k• For each entry p uv of P k include an edge (u,v) with0.5 0.20.1 0.3P 1probability p uvKroneckermultiplication0.25 0.10 0.10 0.040.05 0.15 0.02 0.060.05 0.02 0.15 0.060.01 0.03 0.03 0.09P 2 =P 1 ⊗P 1Probabilityof edge p ijInstancematrix K 2flip biasedcoinsJure Leskovec: Kronecker Graphs12


[PKDD ’05]• Intuition• Recursive growth of graph communities• Nodes get expanded to micro communities• Nodes in sub‐community link among themselves and tonodes from different communitiesJure Leskovec: Kronecker Graphs13


• Node attribute representation• Nodes are described by attributes▪ u=[1,0], v=[1, 1]• Parameter matrix gives linking probability:p(u,v) = 0.1 * 0.5 = 0.15101 00.5 0.20.1 0.3Kroneckermultiplicationu11100100v11 10 01 000.25 0.10 0.10 0.040.05 0.15 0.02 0.060.05 0.02 0.15 0.060.01 0.03 0.03 0.09Jure Leskovec: Kronecker Graphs14


• Using multiple initiators:Attribute 1:0.9 0.4 0.20.3 0.8 0.20.3 0.1 0.3Attribute 2:…. …. ….p ij = 0.4 * 0.50.8 0.5 0.10.2 0.9 0.40.4 0.2 0.3Jure Leskovec: Kronecker Graphs15


[PKDD ’05]• We prove [PKDD05] that Kronecker graphshave the following structural properties:• Properties of static networksPower Law Degree DistributionPower Law eigenvalue and eigenvector distributionSmall Diameter• Properties of dynamic networksDensification Power LawShrinking/Stabilizing DiameterJure Leskovec: Kronecker Graphs16


[PKDD ’05]• Theorem: Kronecker Graphs have multinomialin‐ and out‐degree distribution(which can be made to behave like a Power Law)• Proof:• Let G 1 have degrees d 1 , d 2 , …, d N• Kronecker multiplication with a node of degree dgives degrees d∙d 1 , d∙d 2 , …, d∙d N• After Kronecker powering G k has multinomialdegree distributionJure Leskovec: Kronecker Graphs17


[PKDD ’05]• Theorem: The Kronecker Graph hasmultinomial distribution of its eigenvalues• Theorem: The components of eacheigenvector in Kronecker Graph follow amultinomial distribution• Proof: Trivial by properties of KroneckermultiplicationJure Leskovec: Kronecker Graphs18


[PKDD ’05]• Theorem: Kronecker graphs follow aDensification Power Law with densificationexponent• Proof:• If G 1 has N 1 nodes and E 1 edges then G k has N k =N 1k nodes and E k = E 1k edges• And then E k = N ka• Which is a Densification Power LawJure Leskovec: Kronecker Graphs19


[PKDD ’05]• Theorem: Constant diameter: If G 1 hasdiameter d then graph G k also has diameter d• Observation: Edges in Kronecker graphs:where X are appropriate nodes• Example:Jure Leskovec: Kronecker Graphs20


• Why models and realistic synthetic graphs:• Anomaly detection – abnormal behavior, evolution• Predictions – predicting future from the past• Simulations of new algorithms where real graphsare hard/impossible to collect• Graph sampling –many real world graphs are toolarge to deal with• “What if” scenariosJure Leskovec: Kronecker Graphs21


[ICML ’07]• Want to generate realistic networks:Given areal networkGenerate asynthetic networkCompare graphs properties,e.g., degree distribution• Good news: Kronecker graphs have the expressivepower• But: How do we choose the parameters to match allof these at once?• Q: Which network properties do we care about?• A: Don’t commit, let’s match adjacency matricesJure Leskovec: Kronecker Graphs22


[ICML ’07]• Maximum likelihood estimation:arg maxΘP( | )KroneckerΘ• Naïve estimation takes O(N!N 2 ):• N! for different node labelings:• N 2 for traversing graph adjacency matrix• Do stochastic gradient descentWe (KronFit) estimate the model in O(E)Jure Leskovec: Kronecker GraphsΘ =a bc23d


[ICML ’07]• Given a graph G and Kronecker matrix Θ wecalculate probability that Θ generated GP(G|Θ)0.25 0.10 0.10 0.040.5 0.20.1 0.3ΘP(G| Θ)=0.05 0.15 0.02 0.060.05 0.02 0.15 0.060.01 0.03 0.03 0.09Π( u,v)∈GΘkΘ k101101011011G1111[ u,v]Π( u,v)∉GP(G|Θ)(1 − ΘkG[ u,v])Jure Leskovec: Kronecker Graphs24


[ICML ’07]10.5 0.20.1 0.3221ΘG’3G”434σ0.25 0.10 0.10 0.040.05 0.15 0.02 0.060.05 0.02 0.15 0.060.01 0.03 0.03 0.091 0 1 00 1 1 11 1 1 10 0 1 11 0 1 10 1 0 11 0 1 11 1 1 1P(G’|Θ) = P(G”|Θ)Θ k• Nodes are unlabeled• Graphs G’ and G” shouldhave the same probabilityP(G’|Θ) = P(G”|Θ)• One needs to consider allnode correspondences σP( G | Θ)= ∑ P(G | Θ,σ ) P(σ )σ• All correspondences are apriori equally likely• There are O(N!)correspondencesJure Leskovec: Kronecker Graphs25


[ICML ’07]• Assume we solved the correspondence problem• CalculatingP(G])| Θ)= Π Θk[σu,σv] Π (1 − Θk[σu,σv( u,v)∈G( u,v)∉GΘ kcGσ… node labeling0.25 0.10 0.10 0.041 0 1 10.05 0.15 0.02 0.060 1 0 10.05 0.02 0.15 0.06σ1 0 1 10.01 0.03 0.03 0.090 0 1 1• Takes O(N 2 ) time• Infeasible for large graphs (N ~ 10 5 )Jure Leskovec: Kronecker GraphsP(G|Θ, σ)Part 1‐26


[ICML ’07]• Log‐likelihood• Gradient of log‐likelihood• Sample the permutations from P(σ|G,Θ) andaverage the gradientsJure Leskovec: Kronecker Graphs27


[ICML ’07]• Metropolis sampling• Start with a random permutation σ• Do local moves on the permutation• Accept the new permutation σ’▪ If new permutation is better (gives higher likelihood)▪ else accept with prob. proportional to the ratio of likelihoods (no need123421to calculate the normalizing constant!)3Swap node 4labels 1 and 432411 0 1 00 1 1 11 1 1 10 1 1 112341 1 1 01 1 1 01 1 1 10 0 1 1Can compute efficientlyOnly need to account forchanges in 2 rows /columnsJure Leskovec: Kronecker Graphs28


[ICML ’07]• Calculating naively P(G|Θ,σ) takes O(N 2 )• Idea:• First calculate likelihood of empty graph, a graphwith 0 edges• Correct the likelihood for edges that we observe inthe graph• By exploiting the structure of Kronecker productwe obtain closed form for likelihood of anempty graphJure Leskovec: Kronecker Graphs29


[ICML ’07]• We approximate the likelihood:Empty graphNo‐edge likelihood• The sum goes only over the edges• Evaluating P(G|Θ,σ) takes O(E) time• Real graphs are sparse, E


[ICML ’07]• Experimental setup• Given real graph• Stochastic gradient descent from random initial point• Obtain estimated parameters• Generate synthetic graphs• Compare properties of both graphs• We do not fit the properties themselves• We fit the likelihood and then compare the graphpropertiesJure Leskovec: Kronecker Graphs31


[ICML ’07]• We search the space of ~10 1,000,000permutations• Fitting takes 2 hours• Real and Kronecker are very closeΘ ∧ 0.99 0.54=0.49 0.13Degree distributionPath lengths“Network” valuesprobability# reachable pairsnetwork valuenode degreenumber of hopsrankJure Leskovec: Kronecker Graphs32


[ICML ’07]• Fitting scales linearly with the number ofedgesJure Leskovec: Kronecker Graphs33


• Kronecker generalizes Erdos‐Renyi (G np ):• Use 1x1 initiator (all cells have the same prob.)• Kronecker generalizes RMat• Use 2x2 initiator• Relation between Kronecker and RMat• like G np (n nodes, p edge prob), G nm (n nodes, m edges):• Kronecker also encodes the number of edges• (in RMat that is a separate parameter)Jure Leskovec: Kronecker Graphs34


• In practice we generate Kronecker graphs usingthe RMat like recursive deepening• Given prob. Kronecker initiator P• Expected number of edges: E = sum(P) k• Normalize P’ = 1/sum(P) * P• Perform recursive deepening using P’P' =acbdaacbbda+b+c+d=1c dJure Leskovec: Kronecker Graphs35


• Kronecker Graph model has• provable properties• small number of parameters• Scalable algorithms for fitting Kronecker Graphs• Efficiently search large space (~10 1,000,000 ) ofpermutations• Kronecker graphs fit well real networks using fewparameters• Kronecker graphs match graph properties without apriori deciding on which ones to fitJure Leskovec: Kronecker Graphs36


• Graphs over Time: Densification Laws, Shrinking Diameters andPossible Explanations, by Jure Leskovec, Jon Kleinberg, ChristosFaloutsos, ACM KDD 2005• Realistic, Mathematically Tractable Graph Generation andEvolution, Using Kronecker Multiplication, by Jure Leskovec,Deepay Chakrabarti, Jon Kleinberg and Christos Faloutsos, PKDD2005• Scalable Modeling of Real Graphs using Kronecker Multiplication,by Jure Leskovec and Christos Faloutsos, ICML 2007• Graph Evolution: Densification and Shrinking Diameters, by JureLeskovec, Jon Kleinberg and Christos Faloutsos, ACM TKDD 2007Jure Leskovec: Kronecker Graphs37

More magazines by this user
Similar magazines