Herramientas para el procesamiento de datos GPS de la red LISN

RADIO OBSERVATORIO DE JICAMARCA
INSTITUTO GEOFÍSICO DEL PERÚ
Herramientas para el procesamiento
de datos GPS de la red LISN
Juan Carlos Espinoza Guerra
CIELO – Proyecto LISN
Marzo 2010
1

RESUMEN
Con el propósito de estudiar fenómenos ionosfericos, Low-Latitude Ionospheric
Sensor Network (LISN) es una red de multi-instrumentos instalados en América del Sur
como un observatorio distribuido. Todos los instrumentos (GPS, magnetómetros y
ionosodas) envían datos a un servidor central donde son guardados y procesados para
obtener resultados en tiempo casi-real.
Los GPSs de la red LISN son de diferentes marcas y modelos, cada uno con su
propio programa de adquisición que a su vez genera sus propios archivos binarios. Para
leer estos archivos binarios se han desarrollado una serie de utilidades necesarias para el
pre y post procesamiento de los datos.
Todos los programas y scripts usados para este propósito se han desarrollado
utilizando el lenguaje Python, y serán descritos en el presente trabajo.
2

ÍNDICE
1 INTRODUCCIÓN ................................................................................................................. 4
2 DESARROLLO ................................................................................................................... 4
2.1 Paquete “gpsUtils”................................................................................................................................. 5
2.2 Módulos principales............................................................................................................................... 6
2.2.1 gpsProcess.py ....................................................................................................................................... 6
2.2.2 Rinex.py ................................................................................................................................................ 7
2.2.3 utility.py ................................................................................................................................................. 8
2.3 Otros módulos ....................................................................................................................................... 8
2.4 Otros archivos ....................................................................................................................................... 8
3 RESULTADOS .................................................................................................................... 9
4 CONCLUSIONES .............................................................................................................. 10
5 RECOMENDACIONES ..................................................................................................... 10
3

HERRAMIENTAS PARA EL PROCESAMIENTO DE DATOS GPS DE
LA RED LISN
1 INTRODUCCIÓN
El desarrollo de estas herramientas surge como un complemento al desarrollo de la
base de datos GPS realizado anteriormente, porque con este nuevo desarrollo se optimiza
la generación de los archivos diarios que se publican en la página web (binarios,
cintilaciones, posición, RINEX y TEC). Principalmente este trabajo consistió en la integración
de todas las aplicaciones utilizadas por la base de datos (scripts en Python y programas en
C y Fortran) en un sólo paquete para Python.
2 DESARROLLO
Cuando se implementó la base de datos GPS de la red LISN se contaba con
programas en lenguaje C para realizar las tareas de concatenación, decimado y conversión
al formato RINEX de los archivos binarios Novatel (*.nvd) y LEICA (*.lb2), y también se tenía
programas en Fortran para el cálculo de TEC. Por ello se desarrollaron scripts en Python
que utilicen estos programas y finalmente generen los archivos diarios que son publicados
en la base de datos. La descripción de cada uno de estos programas y scripts se encuentra
en el reporte “Base de datos GPS”.
SERVER
Archivos de 15 minutos
dailynvd.c
&
nvd2rinex2.c
dailylb2.c
&
lb22rinex2.c
BASE DE DATOS
(Archivos diarios)
Binarios (*.nvd, *.lb2, *.obs)
Binarios (*.nvd, *.lb2)
Posición (*pos.dat)
Cintilaciones (*gps.dat)
create_daily.py
Posición (*.pos)
Cintilaciones (*.scn)
RINEX (*.yyd)
daily_tec.py
TEC (*.tec)
gpselem.f
tec_fromRT.f
gpselaz.scpt
concat.scpt
PAGINA WEB
(Graficos en real time)
TEC (*.ps)
concat_tec.f
Figura 1 Programas y scripts utilizados por la base de datos GPS.
Como se observa en la Figura 1, todo el procesamiento depende de varios
programas (en diferentes lenguajes de programación) que complican el proceso de
depuración y mantenimiento de los programas, por esta razón surge la idea de integrar
4

todos los programas involucrados con el procesamiento de datos GPS en un solo package y
un solo lenguaje de programación: Python, de tal forma que nos facilite todas las tareas de
procesamiento.
SERVER
Archivos de 15 minutos
Binarios (*.nvd, *.lb2, *.obs)
Posición (*pos.dat)
Cintilaciones (*gps.dat)
dailyfiles.py
BASE DE DATOS
(Archivos diarios)
Binarios (*.nvd, *.lb2)
Posición (*.pos)
Cintilaciones (*.scn)
RINEX (*.yyd)
dailytec.py
TEC (*.tec)
gpsUtils
(Python Package)
realtime_tec.py
PAGINA WEB
(Graficos en real time)
TEC (*.png)
Figura 2 Nuevos programas y scripts utilizados por la base de datos GPS.
2.1 Paquete “gpsUtils”
El paquete “gpsUtils” contiene una serie de módulos que nos permiten realizar de
manera práctica y eficaz el procesamiento de datos GPS, a continuación se describen sus
principales características:
Soporte para archivos binarios Novatel (*.nvd), tanto para los archivos de 15
minutos que llegan al servidor como para los archivos horarios que se guardan
en las PC’s locales.
Soporte para archivos binarios LEICA (*.lb2), tanto para archivos “id_37” que
llegan al servidor como los archivos diarios que se guardan en las PC’s locales.
Soporte para archivos OBSERVABLES (*.obs) generados por el programa
GPS-Scinda.
Soporte para archivos ASCII de posición y cintilaciones.
Conversión de todos los formatos binarios a RINEX versión 2.0.
Módulo para lectura de archivos RINEX y cálculo del TEC.
5

gpsProcess.py
Rinex.py
utility.py
Main
Modules
gpsUtils
__init__.py
myCutils.pyc
_myCutils.so
Other
Modules
stations.dat
leapseco.dat
Other
Files
2.2 Módulos principales
2.2.1 gpsProcess.py
Figura 3 Estructura del paquete “gpsUtils”.
Este módulo contiene todas las funciones y clases necesarias para realizar la
concatenación, decimado y conversión a RINEX de los datos GPS. Varias de las funciones
de este módulo están basadas en los antiguos programas en “C” que se muestran en la
Figura 1. Para usar este módulo es necesario escribir un pequeño script que llame a las
funciones necesarias para crear por ejemplo un archivo diario (concatenado y/o decimado)
“nvd”. En nuestro caso utilizamos el script “create_daily.py”.
Función
cat_files
nvd_to_rnx2
lb2_to_rnx2
obs_to_rnx2
Descripción
Busca archivos binarios de un directorio, fecha y tipo especificados y crea un
nuevo archivo binario decimado. Utiliza la clase decimate_file
Lee un archivo binario Novatel y crea el correspondiente archivo en formato
RINEX.
Lee un archivo binario LEICA y crea el correspondiente archivo en formato
RINEX.
Lee un archivo observable y crea el correspondiente archivo en formato
RINEX.
Tabla 1 Principales funciones del modulo gpsProcess.py
Clase
decimate_file()
Station(dict)
mk_Rinex()
gpselem(dict)
Descripción
Crea un nuevo archivo binario decimado y permite agregar nuevos datos al
archivo creado.
Clase que busca el archivo stations.dat y crea un diccionario con información
específica de una estación (códigos, tipo de receptor, ubicación, país, etc.)
Clase utilizada por las funciones de conversión a formato Rinex. Contiene
funciones que permiten crear la cabecera y líneas de satélites, y datos en
formato Rinex.
Clase que almacena la información contenida en los archivos “almanac”,
comprende funciones para calcular la órbita de los satélites (elevación,
azimut, latitud y longitud) para una ubicación específica.
Tabla 2 Principales clases del modulo gpsProcess.py
6

2.2.2 Rinex.py
Este módulo engloba funciones y clases para leer archivos en formato Rinex y
guarda la información de los observables (Pseudoranges, Phases, Doppler Frequency y
SNR) por satélite y frecuencia observada, también se guarda la información de la cabecera
para ser utilizada posteriormente.
El módulo soporta archivos en formato RINEX (estándar *.yyo) y CRINEX (con
compresión hatanaka *.yyd), los cuales pueden incluso tener una segunda compresión
(*.gz, *.tar.gz).
Adicionalmente, la clase GPSdata tiene la función “calctec” que permite calcular el
TEC (slant TEC y TEC equivalente).
Este módulo está basado en el módulo “gpsdata” creado por Nick Matteo
kundor@kundor.org
read_rinex
Función
count_rinex
Descripción
Esta función lee un archivo en formato Rinex y crea un objeto del tipo
GPSData con la información de los observables encontrados.
Versión simplificada de read_rinex que solo cuenta el número de records que
contiene el archivo, no crea el objeto GPSData.
Tabla 3 Principales funciones del modulo Rinex.py
Clase
GPSData(list)
SatBias(dict)
LeapSeconds(dict)
Descripción
Objeto del tipo lista donde se almacenan los records, uno por cada tiempo de
observación, con información de los observables encontrados por satélite.
Tiene el atributo “header” con información de la cabecera del archivo.
Esta clase busca los archivos *.dcb que contienen información del bias de los
satélites y crea un diccionario con los valores del bias por satélite, sino
encuentra los archivos intenta bajarlos del sitio ftp que provee la UNIBE
(ftp.unibe.ch/aiub/CODE).
Usa el archivo leapseco.dat para formar un diccionario con las fechas y los
segundos intercalares, sino encuentra el archivo intenta bajar y actualizar el
archivo desde la web.
Tabla 4 Principales clases del modulo Rinex.py
2.2.2.1 Función “calctec”
Esta función pertenece a la clase “GPSData” y permite el cálculo del TEC a partir
de los datos observables, esta función está basada en el programa “tec_fromRT.f” provisto
por el Boston College.
Las principales características de esta función son:
Calcula el TEC relativo (utilizando los pseudoranges) y absoluto (utilizando las
phases) por satélite.
Calcula la elevación, azimut, latitud y longitud de cada satélite observado,
utilizando la clase “gpselem” del módulo “gpsProcess.py”.
Calcula el slant TEC.
Corrige los saltos y valores erróneos encontrados en los datos.
Corrige los cycle-slip encontrados.
Estima el bias del receptor, minimizando la varianza del TEC equivalente entre
las 3 y 6 a.m (hora local). Para la minimización se utiliza el método de Brent.
Corrige el bias del receptor hallado de tal forma que el TEC equivalente sea
siempre mayor a cero.
7

Finalmente calcula el TEC equivalente, por cada satélite, utilizando los bias
calculados (satélite y receptor).
Adicionalmente la clase GPSData también tiene funciones para calcular el TEC
vertical total de una estación y guardar los diferentes parámetros calculados en un archivo
ASCII.
2.2.3 utility.py
El módulo Utility.py contiene diferentes clases y funciones utilizadas por los otros
módulos. Principalmente se trata de utilidades matemáticas y de propósito general que
pueden ser útiles en cualquier script.
Función
fitlin
mnbrak
brent
mk_dir
Descripción
Ajusta una función lineal a N puntos.
Clásica función que busca el rango donde se encuentra el mínimo de una
función.
Función que busca el mínimo de una función aplicando el método de Brent.
Función para crear un directorio (recursivamente).
Tabla 5 Principales funciones del módulo utility.py
Clase
Stats()
open_file(object)
set(list)
Descripción
Clase que calcula valores estadísticos de una lista (suma, promedio,
varianza y desviación estándar)
Utilidad para abrir y leer archivos.
Versión simplificada de la función interna “set()”, se utiliza cuando los scripts
corren en una versión de Python menor a la 2.4.
Tabla 6 Principales clases del modulo utility.py
2.3 Otros módulos
Adicionalmente el paquete gpsUtils cuenta con otros módulos de inicialización y
objetos, y librerías compartidas que completan el paquete.
__init__.py: módulo de inicialización del paquete.
myCutils.pyc y _myCutils.so: librería compartida en C, que puede ser importada
directamente por Python, estas librerías han sido creadas con la aplicación
“swig” (www.swig.org) y por ahora solo contiene una función para calcular el
CRC32 de un bloque de datos. Se decidió utilizar esta librería ya que la
ejecución de esta misma función en Python era demasiado lenta.
2.4 Otros archivos
Finalmente el paquete gpsUtils cuenta con dos archivos ASCII opcionales que
brindan información adicional a los módulos.
stations.dat: este archivo contiene información referente a cada estación el
formato del archivo es como sigue: cada línea tiene los datos de una estación
piu, piur, piurape, Novatel, -5.1699265, -80.6393617, 36.01, Piura, Peru,
jic, jica, jicamar, Leica, -11.9523895, -76.8757236, 505.17, Jicamarca, Peru,
en el siguiente orden y separado por comas: etiqueta, código, código antiguo,
tipo de receptor, latitud, longitud, altura, nombre, país.
8

Figura 4 Ejemplo del archivo stations.dat con información de las estaciones:
Piura y Jicamarca.
leapsec.dat: este archivo contiene información actualizada de los segundos
intercalares para ser comparados con los que vienen en las cabeceras de los
archivos Rinex y corregirlos.
3 RESULTADOS
Como resultado del trabajo se tiene una primera versión del paquete gpsUtils,
el cual nos facilita las tareas de procesamiento de los datos GPS de la red
LISN.
Las futuras actualizaciones se realizaran utilizando el sistema svn del ROJ.
A continuación se muestra una comparación de algunos resultados que se
obtienen con gpsUtils y tec_fromRT para el caso del cálculo del TEC
equivalente.
gpsUtils
tec_fromRT
9

gpsUtils
tec_fromRT
4 CONCLUSIONES
Figura 5 TEC obtenido con gpsUtils y tec_fromRT.
Los resultados del procesamiento generados con este paquete son
comparables a los que se obtenían con los antiguos programas en C y Fortran,
con la ventaja que las versiones en Python soportan más formatos y nos
brindan más opciones.
Este paquete incluso podrá ser utilizado por los usuarios LISN que requirieran
herramientas para procesar datos binarios de GPS.
5 RECOMENDACIONES
Incluir al paquete gpsUtils las rutinas que se tienen para el ploteo de los
diferentes parámetros GPS.
10

BIBLIOGRAFíA
PRESS, W. H; Teukolsky, S. A; Vetterling, W. T and Flannery, B. P. Numerical
Recipes in C. 2da. edición. Estados Unidos: Cambridge University Press,
1994. pp. 359-362.
11