Organizacion de Archivos: secuencial desordenado/ordenado + ...

Almacenamiento y Recuperación de la
Información
Estructuras basicas de archivos
Archivos Secuenciales
2do Semestre 2005
Wenceslao Palma M.
www.inf.utfsm.cl/~wpalma/ari

Una estructura de archivos es una técnica para agrupar físicamente los registros de un archivo en
dispositivos de almacenamieno secundario.
Para escoger una estructura de archivo se consideran aspectos tales como:
Características de los dispositivos de almacenamiento.
Sistema operativo.
Software para la administración de los archivos.
Necesidades del usuario para almacenar y accesar datos.

Criterios importantes:
Acceso rápido para la recuperación de datos.
Alto rendimiento para las transacciones de procesamiento.
Uso eficiente del espacio en disco.
Protección ante pérdida de datos y fallas.
Minimización de la necesidad de reorganización de los datos.

Lógicamente, un archivo es una colección de registros estructurados, generalmente, en torno a una
clave. Esta organización de datos considera la visión del programador de aplicaciones sobre el archivo,
la cual es independiente del dispositivo; interesa más su uso que sus atributos físicos. Dicho
programador de aplicaciones es la persona que visualiza un archivo como una colección de registros
lógicos, aplicándoles las siguientes operaciones:
Recorrer el archivo
Agregar registros al archivo
Eliminar registros del archivo
Modificar valores del archivo
Ordenar el archivo

En la organización lógica de una archivo, se distinguen dos conceptos importantes:
a) Registro: corresponde a la definición de cada uno de los registros de datos que serán usados dentro
de una aplicación, y cuya extensión determina el tipo de archivo que lo contiene, el cual puede ser:
Archivo de Largo Fijo: el archivo se compone de registros del mismo tipo.
Archivo de Largo Variable:
El archivo se compone de registros del mismo tipo, pero al menos uno de los campos
tiene un número de ocurrencias variable.
El archivo se compone de registros del mismo tipo, pero el largo de al menos uno de sus
campos es variable.
El archivo se compone de registros del mismo tipo, pero uno de los campos es opcional
en cuanto a su tipo.
El archivo se compone de más de un tipo de registro.

) Campo o Atributo: ítem de dato que describe una característica de la entidad representada por un
registro lógico. Este campo puede tener nombres como:
Clave Candidata: atributo(s) que no soporta(n) valores repetidos, y que por lo mismo, puede(n)
identificar en forma única a un registro dentro del archivo.
Identificador o Clave Primaria:clave candidata escogida como clave de acceso principal al archivo,
dado su constante uso en los accesos al mismo.
Clave Alternativa: clave candidata que no es escogida como identificador.
Clave Secundaria: atributo que permite valores repetidos.
Clave Inteligente: atributo cuyo contenido permite derivar información adicional de la entidad a la
cual pertenece.
Los registros, compuestos de diversos atributos, se van a organizar entre sí, para formar lo que se
entiende por un archivo. En general, las tres estructuras de archivos más comunes son la secuencial, la
directa, y el esquema jerárquico (o de árbol).

Archivos secuenciales
Los registros son almacenados en secuencia, uno tras otro. Caracteristicas:
Simple de usar.
Conviene cuando se utilizan todos o la mayoria de los registros.
El espacio de almacenamiento es minimo, solo se almacenan datos.
El orden fisico y logico es el mismo.
Existen dos tipos de archivos secuenciales: desordenado y ordenado.

Archivos secuenciales desordenados
Los registros se almacenan uno tras otro según orden de llegada.
Búsqueda: se realiza en forma lineal.
Inserción: al final del archivo, lo que hace que la operación sea rápida.
Eliminación: se puede realizar de dos formas; física y lógica. Si la eliminación es física, será
necesario un corrimiento de los datos, lo cual perjudica el rendimiento. Por el contrario si la
operación es lógica se utilizan marcas de borrado. Sin embargo, en ambos casos, es necesaria una
reorganización de los registros.

Archivos secuenciales ordenados
Los registros se almacenan en forma ordenada de acuerdo al valor de un campo (en la mayoria de los
casos clave) de ordenamiento.
Favorece la búsisqueda y generación de listados ordenados.
Búsqueda: se realiza en forma lineal y binaria .
Inserción: requiere un corrimiento de los registros para mantener el orden. Para evitar esto,
existen varias técnicas:
Incluir a cada bloque de datos un puntero que direccione a una lista enlazada de bloques de
overflow, donde se almacenan los registros en dicha situación.
Utilizar un archivo de overflow, el cual en cierta medida se transforma en un archivo de
transacciones, para almacenar registros. Posteriormente se actualiza el archivo de datos
mediante un ordenamiento y mezcla con el archivo de overflow.
Eliminación: al igual que en el caso de los archivos secuenciales desordenados la eliminación puede
ser física o lógica.

Ordenamiento externo
Los métodos de ordenamiento externo se aplican sobre archivos que no pueden ser almacenados
completamente en memoria principal para su ordenamiento.
Se habla de ordenamiento externo cuando se utiliza un proceso de dos fases: una de ordenamiento y
otra de mezcla. La fase de ordenamiento toma datos del archivo (particiones) los deja en memoria
principal, los ordena y los retorna al disco. Los registros quedan ordenados en forma relativa a la
particion en donde se encuentran.
En la fase de mezcla se mezclan las particiones generando particiones mas grandes hasta llegar a una
sola: el archivo ordenado.

Una variedad de operaciones se benefician de un conjunto de registros ordenados.
Por ejemplo:
Una consulta SQL podría requerir una salida ordenada de los registros que cumplen con alguna
condición.
Select Rut, Nombre, Dirección, Region
From alumnos
Order BY Region
Al eliminar explícitamente duplicados
Select DISTINCT ciudad
From alumnos
Debido a que no resulta razonable limitar el tamaño de un archivo. Cómo es posible ordenar los
registros de un archivo cuyo tamaño es superior al espacio disponible en memoria principal?

Para tal efecto se considera un proceso de ordenamiento y mezcla, mediante el cual el archivo a
ordenar se divide y cada una de sus partes se ordena y mezcla con alguna otra hasta obtener el
resultado esperado.
Es posible realizar lo anterior en una modalidad conocida como dos vías (two­way) siempre que se
cuente con 3 buffers en memoria principal.
Disk
INPUT 1
INPUT 2
Main memory buffers
OUTPUT
Disk

La estrategia de solución es la siguiente:
Paso 0.
Se lee cada página del archivo.
Para cada página se realiza un ordenamiento de sus registros.
Se escribe cada página (run) ordenada hacia disco.
Paso 1.
.
.
.
.
Paso n.
Seleccionar 2 runs y llevarlas a memoria.
Mezclar sus registros con respecto al criterio de ordenamiento.
Escribir el resultado (run de 2 páginas) a disco.
Seleccionar y leer 2 runs escritas en el paso n­1
Mezclar sus registros con respecto al criterio de ordenamiento.
Escribir el resultado (run de 2 n páginas) a disco.

En cada paso se leen/escriben las
N páginas del archivo.
El número de pasos es
1 + log 2 N
Cada paso involucra operaciones
de I/O. La cantidad de operaciones
de I/O es:
2N(1 + log 2 N), el orden de
magnitud es O(NlogN)
Si disponemos de una mayor
cantidad de buffers se podría
reducir el número de pasos. Qué
sucede si se tienen B buffers?
3,4 6,2 9,4 8,7 5,6 3,1 2
3,4 2,6 4,9 7,8 5,6 1,3 2
2,3
4,6
2,3
4,4
6,7
8,9
4,7
8,9
1,2
2,3
3,4
4,5
6,6
7,8
9
1,3
5,6 2
1,2
3,5
6
Input file
PASS 0
1­page runs
PASS 1
2­page runs
PASS 2
4­page runs
PASS 3

. . .
Disk
INPUT 1
INPUT 2
. . .
INPUT B­1
OUTPUT
. . .
Considerando B buffers:
Paso 0.
Se generan N/B runs de B páginas cada una, excepto la última que podría tener
menos.
Paso 1....
salida.
Disk
Seleccionar B­1 runs del paso anterior.
Realizar una mezcla de B­1 vías usando la B­ésima página como buffer de

Al igual que en el caso de 2 vías se escriben y leen las N páginas del archivo.
En el paso 0 se escriben N/B runs.
El número de pasos adicionales es log B­1 N/B. Luego, el total de operaciones de I/O es 2N
(1+log B­1 N/B), el orden de magnitud es O(NlogN) pero en base B­1
N B=3 B=5 B=9 B=17 B=129 B=257
100 7 4 3 2 1 1
1,000 10 5 4 3 2 2
10,000 13 7 5 4 2 2
100,000 17 9 6 5 3 3
1,000,000 20 10 7 5 3 3
10,000,000 23 12 8 6 4 3
100,000,000 26 14 9 7 4 4
1,000,000,000 30 15 10 8 5 4

Sin embargo, la forma en que se utilizan los buffers puede ayudar a reducir el costo de las
operaciones involucradas.
Considere un disco de 10000 páginas y espacio de almacenamiento en memoria principal de
64 páginas. El disco posee una latencia de 5ms, seek de 10ms y puede transferir una página
en 1ms.
Determine el tiempo requerido para ordenar el archivo considerando:
Caso 1: 63 buffers de entrada de una página cada uno y un buffer de salida de una página.
Caso 2: 3 buffers de entrada de 16 páginas cada uno y un buffer de salida de 16 páginas.
Caso 3: 13 buffers de entrada de 4 páginas cada uno y un buffer de salida de 12 páginas.

Sol.:
Independiente de cada caso en el Paso 0 se leen 10000 páginas en grupos de 64 y
luego se escribe cada grupo. Al final de este paso se generan 10000/64=157 runs de 63
páginas cada una.
Caso 1:
Paso 1: se generan 157/63=3
Paso 2: genera 1 run
tiempo de cada paso: (10 + 5 + 1)*10000*2=320 seg
tiempo total: 2*320= 640 seg

Caso 2:
Paso 1: 175/3=53
Paso 2: 53/3=18
Paso 3: 18/3=6
Paso 4: 6/3=2
Paso 5: 2/3=1
tiempo por cada paso: (10+5+(1*16))*2*(10000/16)=38.75 seg
tiempo total: 5*38.75=193.75 seg
Caso 3:
Cantidad de pasos: log 13 175=2 :­)
tiempo por cada paso: como el buffer de entrada es distinto es necesario calcular el
tiempo de lectura y escritura por paso.
t_lectura: (10+5+(1*4)*2*(10000/4)=47.5 seg
t_escritura: (10+5+(1*12)*2*(10000/12)=22.52 seg
tiempo total: 2(t_lectura+t_escritura)=140.04 seg

Archivos organizados como árboles
Los registros se organizan en bloques los cuales se relacionan en forma jerárquica de acuerdo
a un cierto orden entre los valores que contiene cada registro.
Arboles Binarios
La gran ventaja es que permiten búsqueda binaria, pero los tiempos de recuperación se
ven afectados por un eventual desbalanceo.
regclave
clave
+
registro completo

Arboles Multiway
P 0
Corresponden a una generalización de un árbol binario.
En lugar de un registro y 2 punteros, un nodo contiene R registros y R+1 punteros.
Los tiempos de recuperación mejoran, pero se requieren operaciones de balanceo al
insertar y eliminar un registro.
La estructura de un nodo:
K 0
P 1
K 1
K 2
P 2 ................... P n­1
Donde: P 0 ........P n son apuntadores a nodos de subárboles.
K 0 .........K n­1 son los valores de las claves.
Los valores de las claves en un nodo estan en orden ascendente
K i

Todos los valores de las claves que estan en los nodos del subárbol apuntado por P i son menores
al valor de la clave K i .
Todos los valores de las claves que estan en los nodos del subárbol apuntado por P n son
mayores al valor de la clave K n­1 .
Los subárboles apuntados por P i también son árboles de búsqueda de m­vías.
Construya un árbol de 3 vías dada la siguiente secuencia
50­100­20­40­15­30­70­120­140­130­136

Arboles B
Corresponden a árboles multiway con operaciones de balanceo, es decir, son multiway
balanceados.
Se define un árbol B de orden m a aquél árbol que cumple con las
siguientes condiciones:
● Ningún nodo tiene más de m hijos.
● Un nodo interno con k hijos contiene k­1 registros.
● Todos los nodos terminales se encuentran en el mismo nivel.
Ejercicio: Suponga un archivo de 40000 registros organizado como árbol B. El tamaño de
cada registro es 70 bytes.
Si el disco donde se almacena utiliza bloques físicos de 1KB y punteros a bloque de 6 bytes.
Cuál es el orden del árbol?
Cuantos accesos a disco se necesitan como máximo para recuperar un registro si en
promedio los nodos estan llenos en un 70%?
Cuanto tiempo en i/o se necesitan para la operación anterior? Considere un disco con
los siguientes parámetros; seek:18ms , latencia: 8.3ms, transferencia: 1229 bytes/ms

Archivos Directos
Veremos los relacionados a Direccionamiento Indirecto.
El Direccionamiento Directo es un direccionamiento algorítmico. La idea general es alcanzar un
registro usando una función de transformación (hashing) sobre una clave (que identifica de manera
única a cada registro), lo cual llevará a la posición del registro en el medio de almacenamiento.
El espacio de almacenamiento es dividido en secciones llamadas buckets.
Un bucket almacena uno o más registros en casilleros de tamaño fijo llamados slots.
slot
Bucket
registro1
registro2
registro3
registro4
La cantidad de registros en un Bucket define el factor de bloqueo (fb).
La función hashing transforma la clave en una dirección de bucket relativa.

Se almacena una tabla en el encabezado del archivo para mantener una correpondencia con los
bloques físicos.
Este enfoque posee 2 desventajas:
(a) Colisiones: para registros con distinta clave es posible que la función de transformación
entregue un mismo valor. Es necesario resolver las colisiones ya que pueden generar overflow.
(b) Zona de áreas muertas: la función distribuye de forma no equitativa los datos entre los
distintos buckets.
Alternativas para resolver colisiones
(a) Overflow Abierto: en este caso la idea es almacenar el registro que está en colisión en el
siguiente slot disponible.
Ventaja: Minimización de áreas muertas.
Desventaja: Búsqueda lineal de registros en colisión.

(b) Encadenamiento: en este caso un bucket sirve como nexo hacia un bucket de overflow cuando
sea necesario. Existen dos tipos de encadenamiento:
● Unificado: bucket de overflow es compartido por varios buckets que tienen overflow.
● Exclusivo: cada bucket tiene potencialmente un bucket de overflow exclusivo.
registro1
registro2
registro3
registro4
registro5
registro6
Overflow Unificado
Overflow
registro1
registro2
registro3
registro4
registro5
registro6
Overflow Exclusivo
Overflow
Overflow

Todo lo anterior implica:
● Un espacio de direcciones fijo.
● Lo normal es que los archivos cambien.
Idea: Proponer un mecanismo que permita la expansión dinámica del archivo.
Hashing Dinámico
idea: llegar a los datos por medio de estructura de acceso jerárquica. Características:
● El número de buckets no es fijo.
● Se puede partir con un solo bucket.
● Cuando un bucket se encuentra en overflow se divide en dos buckets considerando como
criterio de división el valor del bit más significativo de lo entregado por la función de
transformación. En este caso se crea una estructura de árbol o directorio.

Existen 2 tipos de nodo:
nodo interno: guían la búsqueda.
nodo hoja: apuntan hacia un bucket.
0
1
nodo interno
Ejemplo: Suponer buckets con fb=4. Crear un archivo directo en base a:
7 000111
41 101001
21 010101
48 110000
43 101011
6 000110
16 010000
15 001111
42 101010
25 011001
18 010010
20 010100
nodo
hoja

7 000111
41 101001
21 010101
48 110000
43 101011
6 000110
16 010000
15 001111
42 101010
25 011001
18 010010
20 010100
7
41
21
48
Al ingresar 43 el bucket entra en overflow. Además, es
posible ingresar 6 y 16 sin problemas.
0
1
7
21
6
16
41
48
43

7 000111
41 101001
21 010101
48 110000
43 101011
6 000110
16 010000
15 001111
42 101010
25 011001
18 010010
20 010100
Al ingresar 15 hay overflow!!
0
1
0
1
Además, es posible ingresar 42, 25 y 18 sin problemas.
41
48
43
42
7
6
15
21
16
25
18

7 000111
41 101001
21 010101
48 110000
43 101011
6 000110
16 010000
15 001111
42 101010
25 011001
18 010010
20 010100
Al ingresar 20 hay overflow!!
0
1
0
1
41
48
43
42
0
1
7
6
15
21
16
18
20
25

Hashing Extendido
Idea: Considerar una estructura de acceso tipo arreglo.
Características:
● La estructura de acceso es un arreglo de 2^d direcciones de buckets.
● d es la profundidad global del directorio.
● Se suponen buckets de tamaño fijo.
● En caso de overflow es necesario doblar el tamaño del directorio.
● La estructura de acceso se construye considerando el bit menos significativo.

Ejercicio: Considerando las siguientes transformaciones de claves, Construya un archivo utilizando
hashing extendido.
ed 111010001010
tom 001101101000
sam 111100010100
ann 010011010001
kim 100111010100
kely 011011011110
mindy 110111000101
mark 110001011001
chris 111001110011
laura 001011010101
sue 101110001100
jill 111000110010
amy 111000011101
Inicialmente
d=0. fb=4.
ed .....1010
tom .....1000
sam .....0100
ann .....0001

ed 111010001010
tom 001101101000
sam 111100010100
ann 010011010001
kim 100111010100
kely 011011011110
mindy 110111000101
mark 110001011001
chris 111001110011
laura 001011010101
sue 101110001100
jill 111000110010
amy 111000011101
Al agregar kim existe overflow. El tamaño del directorio se debe doblar. d=1
0
1
ed .....1010
tom .....1000
sam . ....0100
kim .....0100
ann .....0001

ed 111010001010
tom 001101101000
sam 111100010100
ann 010011010001
kim 100111010100
kely 011011011110
mindy 110111000101
mark 110001011001
chris 111001110011
laura 001011010101
sue 101110001100
jill 111000110010
amy 111000011101
Al agregar kely hay overflow. Ahora d=2
Además, es posible agregar mindy, mark y chris sin problemas!!!
00
01
10
11
tom .....1000
sam .....0100
kim .....0100
ed .....1010
kely .....1110
ann .....0001
mindy .....0101
mark .....1001
chris .....0011

ed 111010001010
tom 001101101000
sam 111100010100
ann 010011010001
kim 100111010100
kely 011011011110
mindy 110111000101
mark 110001011001
chris 111001110011
laura 001011010101
sue 101110001100
jill 111000110010
amy 111000011101
Al agregar laura hay overflow. Sin
embargo, no es necesario doblar el
directorio sino crear un nuevo buket
Además, es posible agregar sue y jill
sin problemas!!
00
01
10
11
tom .....1000
sam .....0100
kim .....0100
sue .....1100
ed .....1010
kely .....1110
jill .....0010
ann .....0001
mindy .....0101
mark .....1001
laura .....0101
chris .....0011

ed 111010001010
tom 001101101000
sam 111100010100
ann 010011010001
kim 100111010100
kely 011011011110
mindy 110111000101
mark 110001011001
chris 111001110011
laura 001011010101
sue 101110001100
jill 111000110010
amy 111000011101
000
001
010
011
100
101
110
111
tom .....1000
sam .....0100
kim .....0100
sue .....1100
ed .....1010
kely .....1110
jill .....0010
ann .....0001
mark .....1001
mindy .....0101
laura .....0101
amy .....1101
chris.....0011

Hashing Lineal
● No considera una estructura de acceso tipo índice.
● Su uso se basa en la existencia de M buckets, numerados desde 0 hasta M­1, los cuales
van recibiendo registros de acuerdo a una función hashing h 0 .
● En el momento en que alguno de los buckets se llena, se crea un bucket M en el cual se
reparten los datos del bucket 0, aplicando la función hashing h 1 . Este esquema se sigue
repitiendo a medida que el archivo crece de tamaño.

Criterios para la selección de la estructura de un archivo
En algunas aplicaciones es evidente cuál organización y método de acceso son los más
adecuados. Sin embargo conviene tener presente algunos criterios para hacer una selección más
fundamentada.
Actividad
Número de registros del archivo usados en un proceso. Cuando la actividad es alta se
recomienda un archivo secuencial, en caso contrario acceso directo.
Volatilidad
Número de registros insertados o eliminados en un archivo. Si la tasa de volatilidad es alta
se recomienda un archivo secuencial desordenado para que los nuevos registros vayan
quedando almacenados al final.

Tipos de consultas
Simple: depto='informatica'
Rango: sueldo>1000000
Lógica: depto='informatica' y sueldo>1000000
Patrones: depto='ing%'
En consultas simples conviene un archivo secuencial ordenado sobre el atributo de la consulta,
favorece búsqueda binaria, también puede ser directo o de tipo árbol si la clave es única.
Para rango es aconsejable secuencial ordenado sobre el atributo de consulta y esquemas
directos que preserven el orden.
En consultas lógicas dependerá si los componentes son simples o rangos.
Para búsqueda de patrones las posibilidades son las mismas que para las consultas simples.

Volumen del archivo
Número de registros que componen el archivo. Si el número es alto entonces archivo directo, de lo
contrario secuencial.