(Microsoft PowerPoint - Cibermetr\355a2.ppt) - E-LIS

Subdominios y páginas personales
Yahoo Search
Comando feature:
feature:index
feature:homepage (sitios con ~)
feature:homepage feature:index
Errores
GoogSpy
Respuestas no subdominios
Respuestas duplicadas
Términos en dominios/subdominios
1

Subdominios
2

GoogSpy
3

Ficheros ricos y ficheros media
Ficheros ricos
Definición y tipos
Adobe Acrobat (pdf) y Postscript (ps)
MS Office: Word (doc, rtf), Excel (xls), Powerpoint (ppt)
Tamaño: Google y Yahoo
Delimitadores: filetype (Google); originurlextension (Yahoo)
Ficheros media
Definición y tipos
FilExt www.filext.com
Localización en motores
Términos
Delimitadores
Bases de datos autónomas
4

Google (filetype)
5

Google (filetype)
Tipos 11-nov-01 24-may-02 01-oct-02 29-mar-04 Tipos 11-nov-01 24-may-02 01-oct-02 29-mar-04
html, htm 63.600.000 98.800.000 120.700.000 240.000.000 ps 523.000 635.000 665.000 2.020.000
asp, aspx, dsp, jsp 12.120.000 23.900.000 31.156.700 78.260.100 xls 297.000 443.000 506.000 1.420.000
php, php3, php4 8.524.000 17.964.000 24.602.000 70.470.000 exe 287.000 393.000 693.000 1.360.000
pdf 3.990.000 6.310.000 7.410.000 22.000.000 ppt 257.000 419.000 442.000 1.170.000
cgi 4.350.000 7.500.000 8.060.000 19.200.000 stm 290.000 479.000 440.000 1.130.000
shtm, shtml 4.328.000 7.419.000 8.502.000 17.221.000 rtf 225.000 336.000 341.000 856.000
cfm 2.950.000 5.340.000 6.730.000 15.500.000 lasso 101.000 474.000
c, cc, cpp, cxx,
inc, java, pas, pl,
sh, tcl, bat
Google: Composición y evolución de tipos de ficheros
py 662.000 396.000
1.480.000 2.380.000 4.765.600 11.723.300
gsp 214.000 154.000 307.000
phtml, phtm 2.180.400 6.159.900 bmp, gif, jpg, png 9.070 19.610 163.000 187.270
fcgi 103.000 6.000.000 htx 124.000 156.000
doc 1.160.000 1.820.000 2.140.000 5.750.000 dwg 102.000 144.000
txt, text, csv 1.650.000 2.700.000 3.067.200 5.511.000 wml 133.000 139.000
swf 2.520.000 5.200.000 rdf 83.200 175.000 125.000 106.000
jhtml, jhtm 247.026 493.650 1.085.500 3.412.400 zip, gz, bz2 862 819 162.800 103.150
xml, xhtml, xsl, dtd 282.400 644.600 742.300 2.022.100 class, jar 319.500 56.000
6

Exalead (filetype)
7

FilExt
8

Imágenes en Google
9

Idiomas en la red
Fuentes y estudios
Usuarios según idioma
Global Reach global-reach.biz/globstats/index.php3
Composición del webespacio
Experimentos con buscadores
Google
Yahoo!
MSN Search
Ask
Copernic
10

Usuarios según idioma
http://www.glreach.com/globstats/index.php3
11

Idiomas en la red
Idiomas utilizados para acceder a Google
www.google.com/press/zeitgeist.html
12

Idiomas (Google)
value
Idioma Código Idioma Código
Arabic lang_ar Icelandic lang_is
Chinese (S) lang_zh-CN Italian lang_it
Chinese (T) lang_zh-TW Language Japanese lang_ja
Czech lang_cs Korean lang_ko
Danish lang_da Language Latvian lang_lv
Dutch lang_nl Lithuanian lang_lt
English lang_en Norwegian lang_no
Estonian lang_et Portuguese lang_pt
Finnish lang_fi Polish lang_pl
French lang_fr Romanian lang_ro
German lang_de Russian lang_ru
Greek lang_el Spanish lang_es
Hebrew lang_iw Swedish lang_sv
Hungarian lang_hu Turkish lang_tr
13

Idiomas
Language
value
Language
Google, Enero 2006
14

Países (Google)
Andorra AD Bhutan BT Estonia EE Guinea-Bissau GW Kazakhstan KZ
United Arab Emirates AE Bouvet Island BV Egypt EG Guyana GY Lao PDR LA
Afghanistan AF Botswana BW Western Sahara EH Hong Kong HK Lebanon LB
Antigua and Barbuda AG Belarus BY Eritrea ER Heard and Mc Donald Islands HM Saint Lucia LC
Anguilla AI Belize BZ Spain ES Honduras HN Liechtenstein LI
Albania AL Canada CA Ethiopia ET Croatia (Hrvatska) HR Sri Lanka LK
Armenia AM Cocos (Keeling) Islands CC European Union EU Haiti HT Liberia LR
Netherlands Antilles AN Congo, DR CD Finland Language FI Hungary HU Lesotho LS
Angola AO Central African Republic CF Fiji FJ Indonesia ID Lithuania LT
Antarctica AQ Congo CG Falkland Islands (Malvinas) FK Ireland IE Luxembourg LU
Argentina AR Switzerland CH Micronesia, FS FM Israel IL Latvia LV
American Samoa AS Cote D'ivoire CI Faroe Islands Language FO India IN Libya LY
Austria AT Cook Islands CK France FR British Indian Ocean Terr. IO Morocco MA
Australia AU Chile CL France, Metropolitan FX Iraq IQ Monaco MC
Aruba AW Cameroon CM Gabon GA Iran IR Moldova MD
Azerbaijan AZ China CN United Kingdom UK Iceland IS Madagascar MG
Bosnia and Herzegowina BA Colombia CO Grenada GD Italy IT Marshall Islands MH
Barbados BB Costa Rica CR Georgia GE Jamaica JM Macedonia, FYR MK
Bangladesh BD Cuba CU French Quiana GF Jordan JO Mali ML
Belgium BE Cape Verde CV Ghana GH Japan JP Myanmar MM
Burkina Faso BF Christmas Island CX Gibraltar GI Kenya KE Mongolia MN
Bulgaria BG Cyprus CY Greenland GL Kyrgyzstan KG Macau MO
Bahrain BH Czech Republic CZ Gambia GM Cambodia KH Northern Mariana Islands MP
Burundi BI Germany DE Guinea GN Kiribati KI Martinique MQ
Benin BJ Djibouti DJ Guadeloupe GP Comoros KM Mauritania MR
Bermuda BM Denmark DK Equatorial Guinea GQ Saint Kitts and Nevis KN Montserrat MS
Brunei Darussalam BN Dominica DM Greece GR Korea, DPR KP Malta MT
Bolivia BO Dominican Republic DO South Georgia/South Sandwich I. GS Korea, Republic of KR Mauritius MU
Brazil BR Algeria DZ Guatemala GT Kuwait KW Maldives MV
Bahamas BS Ecuador EC Guam GU Cayman Islands KY Malawi MW
15

Países II (Google)
Mexico MX Qatar QA Tokelau TK
Malaysia MY Reunion RE Turkmenistan TM
Mozambique MZ Romania RO Tunisia TN
Namibia NA Russian Federation RU Tonga TO
New Caledonia NC Rwanda RW East Timor TP
Niger NE Saudi Arabia SA Turkey TR
Norfolk Island NF Solomon Islands SB Trinidad and Tobago TT
Nigeria NG Seychelles SC Tuvalu TV
Nicaragua NI Sudan SD Taiwan TW
Language
Netherlands NL Sweden SE Tanzania TZ
Norway NO Singapore SG Ukraine UA
Nepal NP St. Helena SH Uganda UG
Nauru NR Slovenia
Language
SI United States Minor Outlying I. UM
Niue NU Svalbard and Jan Mayen Is. SJ United States US
New Zealand NZ Slovakia (Slovak Republic) SK Uruguay UY
Oman OM Sierra Leone SL Uzbekistan UZ
Panama PA San Marino SM Holy See (Vatican City State) VA
Peru PE Senegal SN Saint Vincent and the Grenadines VC
French Polynesia PF Somalia SO Venezuela VE
Papua New Guinea PG Suriname SR Virgin Islands (British) VG
Philippines PH Sao Tome and Principe ST Virgin Islands (U.S.) VI
Pakistan PK El Salvador SV Vietnam VN
Poland PL Syria SY Vanuatu VU
St. Pierre and Miquelon PM Swaziland SZ Wallis and Futuna Islands WF
Pitcairn PN Turks and Caicos Islands TC Samoa WS
Puerto Rico PR Chad TD Yemen YE
Palestine PS French Southern Territories TF Mayotte YT
Portugal PT Togo TG Yugoslavia YU
Palau PW Thailand TH South Africa ZA
Paraguay PY Tajikistan TJ Zambia ZM
16

Listados de universidades
Braintrack
Universities Worldwide
Galilei
HEIR
General Education Online
International Colleges and Universities
Portal Tecnociencia
Universia
Canadian Universities
U.S. Universities by State
Top American Reseach Universities
UK Higher Education Map
Times World Universities Rankings
German University Ranking
Academic Ranking of World Universities
All Universities around the World
Ranking of China Universities
Alphabetical Index of Japanese Universities
Language
Language
www.braintrack.com
univ.cc
www.galilei.com.ar
siu.no/heir
www.findaschool.org
www.4icu.org
www.tecnociencia.es
www.universia.es
www.uwaterloo.ca/canu
www.utexas.edu/world/univ/state
thecenter.ufl.edu
www.scit.wlv.ac.uk/ukinfo/uk.map.html
www.thes.co.uk/worldrankings
www.university-ranking.org
ed.sjtu.edu.cn/ranking.htm
www.bulter.nl/universities
rank2005.netbig.com
camp.ff.tku.ac.jp/TOOL-BOX/JapanUNIV
17

Internet invisible
Características
Tamaño y Calidad
Fuentes
Complete Planet www.completeplanet.com
Internet Invisible www.internetinvisible.com
Descripción
Identificación
Institución
País/Idioma
Temática
Cuantitativa
Tamaño
Visibilidad
Cualitativa
Estructura
Cobertura
Actualización
Recuperación
18

Agentes personales (I)
Volcadores
AaronWebVacuum 2.5
JOC WebSpider 3.72
Teleport Pro 1.41
Leech 4.3
WebCopier 4.2
BlackWidow 4.4
MemoWeb 4.0
Offline Commander 2.1
WebReaper 9.8
Offline Explorer Pro 3.9
PowerSiphon 1.9
Website Extractor 9.08
WebWhacker 2000 5.0
WebZip 7.0
www.surfwarelabs.com
www.jocsoft.com
www.tenmax.com
www.aeria.com
www.maximumsoft.com
www.softbytelabs.com
www.goto.fr
www.zylox.com
www.webreaper.net
www.metaproducts.com
www.powersiphon.com
www.asona.org
www.bluesquirrel.com
www.spidersoft.com
19

Agentes personales (II)
Inspectores de enlaces
Alert LinkRunner 6.0
www.alertbookmarks.com/lr
HTML Link Validator 4.4 www.lithopssoft.com
HTML Validator Professional 7.0 www.htmlvalidator.com
Link Checker Pro 3.3
www.kyosoft.com
LinkScan Workstation 11.5 www.elsop.com
Web Link Validator 4.0 www.relsoftware.com/wlv
Xenu's Link Sleuth 1.2 home.snafu.de/tilman/xenulink.html
20

Agentes personales (III)
Extractores HTML
WebData Extractor 4.3 www.webextractor.com
Experimentos
Volcado de sede con el volcador Teleport Pro
Mapeado de la sede volcada con Xenu
Inspección de links
Mapeado directo de la sede con Xenu
Inspección de links
Tamaño de la sede según los motores de búsqueda
Google, Yahoo, Teoma, Gigablast
21

WebDataExtractor
22

Volcado, inspección y mapeado
23

Cibermetria de motores de búsqueda
Motores de búsqueda: Características y
problemática
7 grandes motores “distintos”
Google
Yahoo Search
MSN Search (A9 “candidato”)
Ask (ex-Teoma)
Exalead (futuro Quaero)
Wisenut
Gigablast
Estudios sobre motores
Search Engine Showdown
Search Engine Watch
searchengineshowdown.com
searchenginewatch.com
24

¿Sólo siete (+uno)
2003 2004-2005 2006-2007
Sede Base de datos Sede Base de datos Sede Base de datos
GOOGLE GOOGLE GOOGLE
NETSCAPE GOOGLE NETSCAPE GOOGLE
NETSCAPE
GOOGLE
YAHOO YAHOO YAHOO
ALTAVISTA ALTAVISTA ALTAVISTA YAHOO
ALTAVISTA YAHOO
ALLTHEWEB ALLTHEWEB ALLTHEWEB
FAST
LYCOS LYCOS TEOMA LYCOS
IWON GOOGLE IWON GOOGLE IWON ASK
HOTBOT
HOTBOT
INKTOMI
MSN SEARCH MSN SEARCHMSN SEARCH LIVE LIVE
TEOMA
TEOMA
TEOMA
TEOMA
ASK JEEVES
ASK JEEVES
ASK ASK
ALEXA GOOGLE ALEXA ALEXA ALEXA
GOOGLE/MSN SEARCH
A9 A9 LIVE
EXALEAD EXALEAD EXALEAD EXALEAD
WISENUT WISENUT WISENUT WISENUT WISENUT WISENUT
GIGABLAST GIGABLAST GIGABLAST GIGABLAST
GIGABLAST
HEREUARE
GIGABLAST
25

Cibermetria de motores de búsqueda
26

Delimitadores (I)
MOTORES DE
DOMINIO
BUSQUEDA
AGO'05 AGO'06
GOOGLE site:es 11.500.000 138.000.000
MSN SEARCH site:es 18.137.099 16.710.809
YAHOO SEARCH site:es 117.000.000 70.400.000
ASK
site:es
+inurl:es
49.130.000 32.150.000
EXALEAD site:es 3.160.589 10.823.751
GIGABLAST site:es 1.288.876
MOTORES DE
SUBDOMINIO / SITIO
BUSQUEDA
AGO'05 AGO'06 AGO'05 AGO'06
GOOGLE site:csic.es 346.000 3.320.000 site:www.cindoc.csic.es 4.590 21.700
MSN SEARCH site:csic.es 117.099 153.363 site:www.cindoc.csic.es 2.647 2.174
YAHOO SEARCH site:csic.es 199.000 272.000 site:www.cindoc.csic.es 2.430 3.930
ASK
site:csic.es
256.100 129.500 site:www.cindoc.csic.es
+inurl:csic.es
+inurl:www.cindoc.csic.es
3.270 3.520
EXALEAD site:csic.es 19.978 46.150 site:www.cindoc.csic.es 901 1.243
GIGABLAST site:csic.es 15.916 13.764 site:www.cindoc.csic.es 500 455
27

Resultados aproximados
28

Google Data Centers
http://www.mcdar.net/dance/index.php
29

http://www.webrankinfo.com/english/tools/google-data-centers.php
30

Delimitadores (II)
MOTORES DE
BUSQUEDA
SUBDIRECTORIO
AGO'05 AGO'06
AGO'05 AGO'06
GOOGLE site:www.csic.es/cbic 8.050 29.700 site:www.cindoc.csic.es/cybermetrics 249 9.540
MSN SEARCH site:www.csic.es/cbic 1.926 2.228 site:www.cindoc.csic.es/cybermetrics 643 342
ASK inurl:www.csic.es/cbic 3.650 2.290 inurl:www.cindoc.csic.es/cybermetrics 1.890 2.290
EXALEAD site:www.csic.es/cbic 619 914 site:www.cindoc.csic.es/cybermetrics 217 183
MOTORES DE
PALABRA EN URL
BUSQUEDA
AGO'05 AGO'06
GOOGLE inurl:cybermetrics 702 14.700
MSN SEARCH inurl:cybermetrics 0 0
YAHOO SEARCH inurl:cybermetrics 1.920 3.620
ASK inurl:cybermetrics 2.050 1.250
EXALEAD inurl:cybermetrics 977
GIGABLAST suburl:cybermetrics 536 496
31

Delimitadores (III)
MOTORES DE
ENLACE A DOMINIO / SITIO
BUSQUEDA
AGO'05 AGO'06
MSN SEARCH linkdomain:csic.es 205.127 229.310
YAHOO SEARCH linkdomain:csic.es 152.000 245.000
EXALEAD link:csic.es 26.637 24.941
AGO'05 AGO'06
MSN SEARCH linkdomain:cindoc.csic.es 36.608 45.184
YAHOO SEARCH linkdomain:cindoc.csic.es 19.000 26.400
EXALEAD link:cindoc.csic.es 2.133 2.785
AGO'05 AGO'06
MSN SEARCH linkdomain:www.cindoc.csic.es 9.460 9.840
YAHOO SEARCH linkdomain:www.cindoc.csic.es 12.700 15.300
EXALEAD link:www.cindoc.csic.es 1.448 2.016
32

Delimitadores (IV)
MOTORES DE
BUSQUEDA
ENLACE A SECUENCIA DE CARACTERES
AGO'05 AGO'06
AGO'05 AGO'06
GOOGLE link:www.csic.es/cbic 7 639 link:www.csic.es/cbic/cbic.htm 288 639
MSN SEARCH link:www.csic.es/cbic 15 16 link:www.csic.es/cbic/cbic.htm 3.015 2.666
YAHOO SEARCH link:http://www.csic.es/cbic 44 69 link:http://www.csic.es/cbic/cbic.htm 11500 3130
EXALEAD link:www.csic.es/cbic/cbic.htm 553 783
GIGABLAST link:www.csic.es/cbic/cbic.htm 429 221
33

Delimitadores (V)
MOTORES DE
PAISES
BUSQUEDA
AGO'05 AGO'06
GOOGLE formulario (España) site:com 6.550.000 72.100.000
MSN SEARCH loc:es site:com 50.797.387 41.904.669
YAHOO SEARCH formulario (España) site:com 140.000.000 90.700.000
ASK sedes nacionales 32.560.000
EXALEAD formulario (España) site:com 15.902.881
MOTORES DE
IDIOMAS
BUSQUEDA
AGO'05 AGO'06
GOOGLE formulario (español) site:com 18.000.000 163.000.000
MSN SEARCH language:es site:com 114.474.312 117.455.638
YAHOO SEARCH formulario (español) site:com 224.000.000 133.000.000
ASK lang:ES site:com 114.330.000 58.020.000
EXALEAD language:es site:com 12.333.552 31.087.150
34

Delimitadores (VI)
MOTORES DE
BUSQUEDA
TIPO DE FICHERO
AGO'05 AGO'06
GOOGLE filetype:pdf site:com 17.600.000 98.900.000
MSN SEARCH filetype:pdf site:com 74.963.752 60.397.991
YAHOO SEARCH originurlextension:pdf site:com 72.600.000 69.200.000
EXALEAD filetype:pdf site:com 4.082.595 8.115.109
GIGABLAST type:pdf site:com 133.271
AGO'05 AGO'06
GOOGLE filetype:doc site:csic.es 4.060 32.100
MSN SEARCH filetype:doc site:csic.es 264 185
YAHOO SEARCH originurlextension:doc site:csic.es 2.690 2.530
EXALEAD filetype:doc site:csic.es 317 471
GIGABLAST type:doc site:csic.es 109 195
35

Tamaño
36

Solapamiento
37

Composición
Google by Google
Google by Notess
38

Siguiendo a Notess
Instalación de Copernico 5.2
Capacidad de exportación a Excel
Experimentos
Cobertura
Tamaño (Copernic)
Búsqueda de términos (varios motores)
Búsquedas delimitadas (cada motores)
Teoría del máximo
Solapamiento (Copernic)
300 primeros resultados
Calidad de los enlaces (Copernic)
Porcentaje de enlaces muertos (un único motor seleccionado)
39

Copernic
40

Visualización
Relaciones “ocultas”
TouchGraph Google
www.touchgraph.com/TGGoogleBrowser.html
Instalación previa del Java JRE 1.3+
Prácticas con un nodo
Prácticas con más de un nodo
Kartoo
www.kartoo.com
Prácticas con términos institucionales
41

TouchGraph
42

Kartoo
43

Metabuscadores
Primera generación
Vivisimo
ZapMeta
Mooter
iBoogie
Infonetware
MetaEureka
Surfwax
Info
www.vivisimo.com
www.zapmeta.com
www.mooter.com
www.iboogie.tv
www.infonetware.com
www.metaeureka.com
www.surfwax.com
www.info.com
Segunda generación
Copernico (5.2/6.1) www.copernic.com
44

Límites de los Metabuscadores
Resultados proporcionados por buscadores y metabuscadores (Octubre 2002)
Términos de búsqueda: scientometrics ornithology "Albert Einstein" God
Buscadores
Metabuscadores
ALLTHEWEB 6.718 258.498 1.108.420 39.421.287
GOOGLE 8.260 112.000 554.000 36.800.000
WISENUT 2.932 90.608 565.892 13.475.757
ALTAVISTA 2.522 50.845 452.982 12.488.621
TEOMA 2.087 42.290 233.850 7.535.000
GIMENEI 73 70 71 82
ICYSPICY 33 57 55 72
METAEUREKA 42 46 56 73
EZ2WWW 395 339 302 335
IBOOGIE 221 238 236 299
VIVISIMO 307 466 220 454
FUZZLE 1.050 1.057 1.016 999
45

Metabuscadores
46

Recuperación automática inteligente
Copernic 6.1 Pro www.copernic.com
Indización
Asignación automática de idiomas
Filtrado por región y dominio
WebQL
www.ql2.com
Demostración
Identificación de los componentes de la URL
Cadena de caracteres a extraer
Muestra de trabajo
47

Copernic
48

WebQL
49

Calidad, visibilidad e impacto
Evaluación cuantitativa de sedes Web
El modelo Google
Instalación de la ToolBar (toolbar.google.com)
Page Rank
Visibilidad
Escala logarítmica
rankwhere.com/google-page-rank.php
www.rustybrick.com/pagerank-prediction.php
Componentes: visibilidad + peso
Tipos de enlaces: inlinks, outlinks, selflinks, backlinks
Cálculo mediante el uso de motores de búsqueda
Impacto Web (WebIF)
Calidad de los enlaces: Inspectores de enlaces
50