Acústica en Python

(00:05) abierto los vídeos también todo todo el material está disponible no solo para las personas que han participado en el jacatón sino en general en abierto para el público en general de nuevo la el tutorial de la ponencia de Laura sobre ciencia abierta Y definitivamente esa es nuestra meta que absolutamente todo está abierto para cualquier persona en el futuro lo único por supuesto es la plataforma de porque eso nos cuesta dinero y trabajo entonces eso sí no no estar abierto para los demás y hablaremos el último día
(00:37) hablaremos un poco sobre el después de esta semana pero si todos los materiales estarán completamente abiertos todo lo que es la web y el github entiendo que la efit puede ser que no no los foros en algún momento quedarán cerrados pero todo lo demás sí así es es Pues nada Entonces vamos a proceder al siguiente tutorial como decía ha habido un pequeño cambio también en Ahora va a ser la charla de Emilio que
(01:09) nos hablará de la librería de python ecopide para trabajar datos acústicos pero también nos hablará de como trabajar datos temporales en python brevemente Pues nada adelante Emilio gracias Sí un momento asumo Kevin como pueden confirmar Sí se ve bien Se ve bien Voy a aumentar el tamaño Sí eso siempre es positivo qué tal está ahí por mi bien si alguien ve bien que diga pero creo que sé que se ve bien
(02:25) bueno este tutorial está enfocado en un software específico en ecopide pero voy a tocar en diferentes temas relevantes y representa un ejemplo de los pasos típicos usando este software pero igual sería con otros más o menos para procesar datos de acústica del o de ecosonares del tipo que Héctor mostró ayer les advierto que yo no soy experto en este en la rama de la acústica ya estoy aprendiendo más yo tengo como dos años
(03:09) de trabajar en el área Con varios colegas Así que probablemente en más de una ocasión estaré Llamando a Héctor para que explique o a pregunta de alguien o a mi propia pregunta entonces aquí me enfoco más bien en el en el manejo y tratamiento de los datos originales y lo que se puede hacer no tanto de la perspectiva de un experto en acústica sino que en el enfoque de procesamiento aquí tenemos bastante información como les decía Esto está basado en el paquete
(03:48) aquí tenemos la documentación que pueden ir yo soy uno de los desarrolladores como pueden ver entonces está esa documentación pero también tenemos un sitio asociado que tiene ejemplos que es este inclusive este tutorial es básicamente una adaptación no solo traducción sino que pequeños cambios de este ejemplo que tenemos aquí entonces lo que quiero demostrar es el flujo de trabajo típico es que incluye la conversión de los datos ro que decía
(04:40) que son datos binarios que de los que hablaba Héctor ayer la calibración y el uso de esos datos una característica de este paquete ecopaipes que hemos implementado una convención internacional de de para la representación de datos Entonces tenemos un fuerte enfoque en la estandarización de de datos durante el proceso de conversión y también en usar ampliamente el lo que se le llama el ecosistema de librería científicas En otras palabras los paquetes o librerías que es de uso amplio que sirven como una
(05:20) infraestructura para casi cualquier trabajo científico en python ya han oído todos estos paquetes ex Rey geopanda pandas nompai y otros y también extraeremos y visualizaremos datos de una manera relativamente sencilla bueno ustedes jugarán si es sencillo no y utilizaremos filtros espaciales y temporales para como parte de esta exploración y visualización todos estos datos son basados en un programa de muestreo y evaluación
(05:55) que es una colaboración entre los Estados Unidos y Canadá en en el Pacífico en el Pacífico de Estados Unidos de Canadá he pasado en campañas de que ocurren año de por medio durante el verano desde el Sur de California hasta casi todo el Canadá en el Pacífico y vamos a usar los datos del 2017 este campaña de muestreo o rastreo acústico es se enfoca en la merluza la merluza del Pacífico vamos a utilizar esto es un factor Tal vez un poco nuevo y tal vez no muy común
(06:36) para muchos de ustedes pero vamos a leer datos nos comentan si deben salir de r tú tienes perdón sí entonces un momento como les decía al principio puse esta cajita ahora entonces para los que estaban en r Recuerden que lo que tienen que hacer para salirse apretar ese enlace Entonces tal vez la manera más fácil de hacerlo es ir a la página web y sencillamente aprietan ese enlace y van a encontrarse Bueno lo voy a hacer creo que no me estoy ahí aprietan el botón stop my server
(07:17) y creo no recuerdo si creo hagan el logado también entonces regresan al comienzo de la plataforma y después seleccionan python Entonces le voy a dar un minuto para que hagan eso Gracias Perú no voy a empezar a correr ningún código hasta pero voy a seguir hablando un poco de del background de esto les decía que aquí vamos a utilizar o leer datos a diferencia de hasta ahora que la mayoría de los tutoriales
(07:55) erda ha sido algo prominente y por muy buena razón algo que tal vez han oído algunos es esto de la nube y la nube bueno Es un término un concepto nebuloso francamente y Pero hay alguna tecnología muy específicas de que se asocian con la nube Y esto es esto que me lo mencionaré varias veces el Pockets se le llama o balde no sé si esa es la traducción más común que es un tipo de organización digamos de datos en en la nube que tiene cierta características
(08:34) diferentes de un archivo normal en su computadora o en servidores como verdad no voy a adentrar cuáles son esas diferencias menos que surjan una pregunta pero si lo voy a mencionar bastante en este caso estaremos leyendo los datos rock de este balde y el término común en el servicio de la nube de Amazon es ese tres Ese es el nombre que le dan Estos son datos mantenidos por la Noa por la oficina en ese no en si hay
(09:04) delanova del sistema de o el programa de datos de sonar de la columna de agua el archivo de datos de sonar de la columna de agua que tienen no me acuerdo pero tienen una cantidad muy grande de datos completamente libres vamos a ver si si puedo encontrar rápidamente el catálogo que tienen sí creo que aquí va a estar y yo no conozco de un repositorio similar que sea completamente internacional entonces este es lo que lo
(09:49) que hará más fácil Este es el contenido de datos de este archivo o este repositorio como verán su misión es incluir o almacenar datos financiados por la dentro de los Estados Unidos entonces su preponderancia es alrededor de Norteamérica sobre todo los Estados Unidos pero todos esos datos son están disponibles por ejemplo Emilio solo comentar que también hay datos del cesiro de Australia que son Bueno hay sobre todo
(10:23) de la zona de Australia alrededor y luego del IFE emer también hay un poco por todos porque las aguas francesas sobre todo Tal vez si tenemos tiempo Marian podés mostrarlo después al final rápidamente porque yo no no lo conozco okay bueno otra razón por la que estoy usando este archivo no solo es por mi ignorancia sino porque soy parte de un par de proyectos que nos enfocamos Precisamente en estos datos los datos de merluza de este programa canadiense y
(10:58) estadounidense del Pacífico otro por cada campaña cada campaña anual que dura como mes y medio no estoy seguro la cantidad de datos que recogen es muy muy grande y datos de solares se vuelven grandes fácilmente y rápidamente Entonces lo he limitado a un pedacito nada más para que fuera factible poder correrlo que no esperemos demasiado tiempo y aún así sea relativamente interesante y no un pedacito tan pequeño
(11:31) que es como que no tiene contexto Entonces lo he reducido bajaremos un total de doce archivos Rock cada una Es aproximadamente 25 megabytes entonces un total de alrededor de 300 megabytes y vamos a convertir cada uno de esos archivos a suda esta representación estándar usando la convención que les mencionaba que se llama sonar next cuatro en su primera versión y también estaremos utilizando un que también es algo que no se ha mencionado aquí aquí que se llama zar y
(12:08) básicamente es una versión que está basado en en ese día y a la hora de abrirlo parece es en la mayoría de los casos se ve idéntico el sar se ha vuelto muy popular en el trabajo en la nube porque Tiene ciertas características de cómo se guardan los archivos que lo hace óptimo tanto para la nube como en algunos casos aún en su propia computadora para los efectos prácticos Sí es en este caso es idéntico al cdf Entonces no no se preocupen que sea una complejidad
(12:43) extra obviamente usaremos a raíz bastante y vamos a enfocarnos hacia el final en esta parámetro bueno en inglés me fui al tutorial de de Héctor para recordar cómo es que se dice lo que es en español El SB y es la fuerza de retro dispersión por volumen Entonces el mbs que es un parámetro común y estándar en en Acústica de cosanare es un promedio por volumen de de SB vamos a trabajar con lo que mostré ayer de geo pandas definiendo polígonos para extraer datos y bueno
(13:39) entonces primero vamos a establecer una conexión con este sistema de de Amazon S3 para acceder a datos y y leerlos Ah y el sensor que que se usa o se ha usado en esta campaña y específicamente en este tutorial es el ek 60 de que era o es uno de los más comunes procesaremos los datos con Eco De este balde y los convertiremos calibraremos y exportaremos archivos estandarizados vamos a estos datos o en el en el archivo Row viene la
(14:18) localización en GPS o sea la latitud y la longitud y extraeremos la información del GPS para como parte este proceso de filtrado y exploración de datos Y luego generaremos un ecograma del mpbs a lo largo de una ruta geográfica específica entonces aquí vamos les quiero mencionar algo que ayer en mi tutoriales de datos espaciales en python omití que se me olvidó tratar de incluir o por lo menos mencionar el paquete de
(14:54) cartopay que es súper común para mapear o producir más gráfica de mapas en python es se basa en Macro pero añade muchas capas capacidades fundamentales para el manejo de datos geográfico entonces aquí lo usaremos directamente su funcionalidad pero un poco de una manera implícita y creo que Laura también lo usó el primer día de una manera Tal vez un poco implícita Ah Esto es algo que me di cuenta hasta ahorita la versión que se instaló en el Hub de ecopide no es la más reciente es
(15:39) una versión un poco atrás creo que ha de haber sido el resultado de algún conflicto de dependencia de librerías de python no estoy seguro Si tiene alguna consecuencia y creo que no he visto ninguna pero será lo que tomar en cuenta a la hora de digamos que si quieren correr ustedes mañana que de por sí estamos trabajando en una nueva versión Y probablemente habrá una nueva punto seis punto cuatro dentro de una
(16:06) semana o algo así bueno esta sin entrar en mucho detalle esta complejidad que les mencionaba de de este mecanismo de almacenaje de datos en estos baldes Tratamos de esconderla para que no se vuelva un obstáculo y hay una biblioteca o una librería de python que ha surgido que hace un excelente trabajo para esconder esa complejidad se llama fss o fs speck la especificación de sistemas de archivos lo que hace esta biblioteca es
(16:45) proveer una manera de interactuar con diferentes sistemas de archivo tanto por ejemplo la tu propia computadora o el baldes o archivos que están en un servidor web normal o sea https o ttp los maneja de tal manera que uno puede interactuar con esa diversidad de sistemas de una manera más consistente y no voy a tratar aquí de dar un tutorial sobre eso Sencillamente lo usamos entonces aquí definimos que vamos a abrir una conexión a ese tres
(17:20) esto Valdez está completamente abierto y esto es lo que dice anónimo sí que si es anónimo O sea que no tenemos No necesitamos ningún credencial especial para accederlo cada parte tiene un nombre una identidad y aquí está el nombre y después como que fuera cualquier ruta de de territorios jerarquía directorios y estudia la vía de antemano Esta es la la ruta en el balde de este programa de la Noa no sé si conocen el el concepto o el
(17:57) término globe que es súper común no solo en python sino que en general en el procesamiento de texto y específicamente de archivos existen python creo que en la librería de la librería estándar creo que se llama globe en sí se usa para extraer digamos que uno tiene un directorio con carpeta con yo que sé cienes de archivo y cada uno tiene un patrón específico en sus nombres Entonces glove se usa la librería estándar de glove para definir
(18:29) esos patrones fs speck implementa globe y nos permite definir un patrón en este caso lo que estoy haciendo es definir esa extracción de doce archivos nada más de un directo carpeta que tiene no sé probablemente tal vez menos de Diez mil archivos pero más de cinco mil no recuerdo exactamente entonces aquí estamos diciendo que vamos a extraer todos los archivos que están en este directorio o en esta jerarquía
(19:02) de directorios que del día afortunadamente los nombres de los archivos siguen tienen fecha y hora entonces del año 2017 específicamente del 29 de julio y esta es la significa tiempo Obviamente que son archivos rock y en este caso que van el tiempo va desde las quince horas a las 19 horas y eso fue no tiene ningún valor científico Sencillamente escogí un periodo pequeño y una manera de definir ese Rango corto Bueno ya no me acuerdo si corrí Esto
(19:44) entonces lo vuelvo a correr aquí se está conectando a la nube y hace esta búsqueda de los yo que sé Diez mil archivos y selecciona solamente los que o me da la la ruta de los archivos los que están conformes con ese patrón y solo quiero examinar los últimos dos solo para dar un ejemplo aquí pueden ver entonces ejemplos de los que fueron extraídos y aquí usamos la propiedad Lane o sea el largo tamaño de esta lista una lista
(20:28) para que nos diga Cuántos cuántos archivos fueron encontrados y seleccionados y aquí no hemos leído los archivos Sencillamente identificamos como que no estuviera examinando los archivos en tu computadora en un directorio entonces solo tengo los nombres y las rutas completas ahora vamos a procesar hacer el procesamiento básico como potencialmente podríamos estar haciendo aquí lo voy a hacer con dos archivos pero esto lo hemos hecho con en algunos casos con
(20:59) cienes de archivo entonces para mantener las cosas ordenadas creamos carpetas específicas en una para almacenar los datos convertidos que vamos a generar y en la otra para almacenar los datos calibrados no voy a leer todo esto y ya he dicho algo sobre esto Entonces vamos a ir aquí directamente ahora vamos por cada archi vamos a hacer en un ciclo un look de cada archivo este es lo que teníamos arriba por cada archivo Este es el comando básico de eco abrir
(21:37) un archivo raw Aquí especificamos Cuál es el Dónde está el archivo basado en lo que obtuvimos antes hay que especificar el modelo de del sonar o del ecozonar ya que eco Pipe permite acceder a archivos de diferentes tipos de modelos tanto de y de diferentes compañías y este storage option de nuevo mencioné arriba esto de anónimo es algo específico a la conexión a un balde de la nube Esto no se usaría si Si estuvieran leyendo un archivo de su propia computadora y aquí estamos ilustrando algunas de las
(22:16) cosas comunes que que se hacen en un flujo de trabajo primero Esto va a leer toda la información que está dentro del archivo rock y pero a veces eso no es suficiente a veces hay información extra que sería útil Añadir entonces Bueno lo que voy a hacer es empezar a correrlo porque esto va a tomar como tres minutos creo y después puedo seguir hablando aquí puede haber una lista de los a medida que va haciendo cada uno de estos archivos y Bueno entonces aquí lo que hacemos al
(22:49) terminar esto este objeto esta variable eco Data es algo propio de ecopide que tiene la estructura de netf pero más específicamente net cdf cuatro que introduce el concepto de grupos y un grupo es como que fuera un archivo de net cdf propio Entonces tenemos algo complejo en esta estructura de la convención y lo que estamos añadiendo es un título a todo el Data set y es un simple texto le puse este texto de la campaña de
(23:27) merluza y voy a incluir también el nombre de del archivo como una referencia en el futuro donde de donde vino esta este Data set o este archivo que vamos a generar generar entonces simplemente leemos y convertimos el archivo ROM le añadimos un poquito de metadato en la práctica o en la en la en el uso real idealmente le añadiríamos le añadiríamos más metadato porque siempre es más útil y después lo guardamos a este formato sar el siguiente paso y todo esto está
(24:03) ocurriendo aquí será calibrarlo calcular el SB basado en esa información y eso nos produce un Data set de de que ya lo examinaremos y el siguiente y último paso de procesamiento es tomar ese Data set tsb y producir o calcular el mbs que es toman los los datos de ese evento resolución original y los crea promedios basados en estos parámetros en cada cinco metros a lo largo del Rango del del sonar y cada 20 segundos para tomar un promedio entonces va a generar una versión de SB que es más
(24:53) más reducida y es más fácil de de visualizar o más rápido y más fácil de visualizar y manejar luego guardaremos ese datasete mbs a día para luego usarlo de una manera más práctica me voy a ir aquí esto es martes solo para que vean lo que está ocurriendo que está el folder y aquí pueden ver que se crearon estos estas carpetas y ahí se van añadiendo ya casi terminó creo se van añadiendo todos los nuevos archivos que se han ido
(25:36) creando y aquí usamos el patrón de nombre basado en el nombre original de los datos sé que esto me ha tomado como tres minutos y ahí está ya terminó lo extraño y esto tiene que ver algo con creo con Cómo funciona la nube que cuando lo corra que mi computadora o sea no en esta plataforma me toma menos de un minuto creo y aquí en la en la en esta plataforma de que corre sobre la nube de Google por alguna razón tratando de acceder la nube de que se llama de Amazon no sé si
(26:21) es el acceso o algo de la capacidad de mi computadora relativa a esta plataforma pero termina siendo el triple de tiempo tres minutos en vez de un minuto Una curiosidad Pero bueno ya terminó y ahora vamos a examinar un poco lo que ha ocurrido ya han visto antes el aura yo lo mencioné esta visualización o esta presentación de los datos de un Data set de exa Ray que es súper útil y es bien amistosa uno puede
(26:53) explorar las coordenadas las variables el atributos o metadatos que tiene la estructura de los datos lo que hemos creado en este caso lo que le llamamos un eco Data que es lo que contiene todo el el contenido de los datos original pero de una manera estándar es cada lo hemos dividido Perdón en estos grupos de Netflix En otras palabras cada una de estos elementos es como que fuera es un Data set de xarey como que fuera
(27:25) un archivo de Netflix separado y nos vamos a enfocar en este el sonar es el grupo principal y todo esto lo define la convención Entonces por ejemplo datos del ambiente si hay datos de temperatura o de salinidad aquí irían cálculos de la velocidad del sonido la plata en la plataforma es donde van los datos de GPS la longitud longitud y no sé cómo se traduce Pitch Row y yo al español pero sé que Marian y Héctor lo
(28:01) saben muy bien a ver bueno no voy a ver cada uno pero entonces es bajo el grupo sonar es donde está la información y los datos del solar en sí incluyendo metadatos Cuál es el cuál fue el modelo de del instrumento información sobre sobre el software y el modelo que se usó y aquí específicamente en estos bingus es donde está los los datos en sí de retro dispersión montón de variables pero no vamos a adentrarnos en esas variables ahorita
(28:41) o sea en los detalles y como verán esto es bastante amistoso y al abrir cada uno de estos grupos esto como dice aquí es un Data Y de nuevo entonces ecodata es una colección de Data sets de y esta estructura es pasada en la estructura que define la convención internacional Bueno entonces ya generamos convertimos cada uno de los datos Rock a un a un archivo estandarizado y también cada uno de esos lo calibramos y lo agregamos en unidades más gruesas este mps y también
(29:22) guardamos eso ahora vamos a trabajar exclusivamente con esos datos que ya hemos generado primero usamos bueno primero vamos a procesar las localizaciones del GPS que está en el grupo plataforma y vamos a usar esta función de exa Ray que es súper útil Open mft lo que significa eso es abrir un Data set que viene de mf multiple files que viene de varios archivos esta función está diseñada para abrir archivo una colección de archivo que son
(29:58) completamente consistentes es muy común cuando se manejan datos bien bien grande dividirlos en yo que sé digamos que tenemos un Data hacer que podría ser junto digamos un teragrama Y eso es demasiado para tenerle un archivo Entonces se divide en ese segmenta en digamos que es una serie temporal entonces Tal vez un archivo por día para hacerlo más manejable pero el contenido de la estructura de cada archivo es idéntico Entonces esto es lo que hace esto Esta función vamos a leer todos
(30:32) estos archivos de sar en el formato sar que generamos solamente del grupo plataforma porque ahí es donde está el GPS y esto no voy a adentrar Pero hay diferentes maneras cuando uno tiene datos complejos multidimensionales de grillas con diferentes dimensiones puede ser complejo Cuál es la manera en que es que tienen en común los diferentes datos Entonces estos argumentos especifican Cómo combinarlo y ahí hay sutileza que uno tiene que conocer la estructura de
(31:04) sus datos para saber cuál es lo apropiado vamos a ver no lo he corrido creo entonces aquí está leyendo todos los archivos sar que generamos que están aquí los dos archivos de esos de cada uno de esos extrae nada más el grupo plataforma e ignora los datos más grandes que son los del sonar y los combina como que fueron uno solo voy a hacer un truquito aquí para ayudarme a mí mismo Solo para saber si he corrido una celda o no así los números no van a ser lo mismo Bueno entonces ahora podemos ver
(31:42) esto Este es un rey Esto es lo que abrió ya lo había mencionado un poquito antes pero vale la pena volver aquí y volver a enfatizar que lo útil que es el ex rey y también esta presentación amistosa que aquí cada variable en en este modelo de necesidad y lo que presenta ex rey y como les decía igual estar tiene la capacidad de almacenar atributos que se le llaman entonces aquí está el nombre de la variable esto nos dice que bueno voy a abrir una
(32:17) un poco más obvia que es la actitud sí es el que quería abrir abrir Este es el nombre de la variable latitud depende de la dimensión Time One y el hay complicaciones aquí que tienen que ver con la complejidad de los datos en sí tenemos varias dimensiones de tiempo Bueno aquí podemos ver que es esta Time One es la coordinada de tiempo que corresponde a los datos de posición en lo que se le da un datagramo de este
(32:55) estándar de posiciones no vamos a adentrarnos y aquí le dan nos da la oportunidad de de ir más allá de este nombre corto de una variable Entonces el nombre largo es la actitud de la plataforma es un nombre estándar las unidades etcétera y como verán hay muchas variables aquí y nosotros solo Vamos a usar latitud longitud y su coordenada de tiempo voy a ignorar todo lo demás entonces para explorar un poco de eso
(33:31) estas son de las esos dos archivos aquí extraemos la variable Time uno de ese dato le vamos a extraer sus valores y o sea una lista de valores y de eso el mínimo Y luego el máximo solo para darnos una idea de Con qué estamos lidiando Cuántas Cuál es el intervalo de tiempo que cubre entonces del 29 de Julio va del las nueve no perdón 15 y nueve minutos creo que esto en utc asumo que es utc a el veinte es cero cero y si recuerdan hicimos una
(34:14) filtración basada en los nombres de los archivos Bueno ahora vamos a hacer un poquito de magia volviendo a lo que aprendimos o mostré un poco de geo pandas y hay una conversión fácil o entre geopandas y y exarray como les decía ayer por ejemplo que geofandas Y esto es común en código abierto uno construye sobre bibliotecas o librerías que son adoptadas ampliamente porque son muy útiles entonces cada paquete o librería no
(34:46) inventa todo de cero sino que trata de adoptar lo propio o lo útil de otra librería en este caso Rey hace lo mismo con pandas adopta ya sea código directamente o patrones establecidos por bandas y también la manera de convertir de una a otro entonces aquí lo que estoy haciendo es tomo ese Data DS que fue lo que definimos aquí de la variable latitud la convertimos a un Data frame de pandas igual en este
(35:19) pedazo hago lo mismo con longitud y después lo lo junto uno al otro para tener un Data frame Bueno lo voy a correr el resultado es un Data frame que solo tiene lo que yo quiero no tiene todo ese montón de variables y complejidades sino que Algo súper simple y su índice es el timestop o sea el tiempo o digo fecha y hora específico fecha y tiempo y la latitud y la longitud o sea esto es una serie de puntos Y eso es lo que vamos a hacer ahora ahora como demostré ayer entonces tomamos esa
(35:57) información y usamos lo los patrones de ayer Aquí está el Data frame y la geometría basado en esta función tomando la longitud y la longitud y le añadimos el el sistema de coordenadas para que sea más explícito y poder hacer operaciones fiables espaciales cuatro tres dos seis como vimos ayer solo para explorar un poquito Tiene veinticuatro mil seiscientos dieciséis puntos o renglones o vileras solo para explorar un poco más estos son los últimos bueno que habíamos visto los
(36:39) primeros tres usando Head del Data frame ahora uso el mismo mecanismo pero del geodeta frame que básicamente lo mismo lo único que ha ocurrido es le añadió la geometría como vimos ayer y ahora vamos a explorarlo un poquito produciendo un mapa de los puntos solo para darnos alguna idea y esta es la longitud la longitud obviamente sin contexto no se puede saber de qué estamos dónde es esto y qué distancia es
(37:17) solo les digo que venía tendremos un mapa un poquito bajo esto es en frente de las costas de Oregón entonces aquí están los veinticuatro mil puntos forman esta línea y si mal no recuerdo creo que el barco viene en esta dirección Pero puedo estar equivocado y no importa mucho en este caso y esos son como decías son que eran alrededor de cinco o seis horas de datos Bueno ahora vamos a leer los datos que ya generamos de mbs y eventualmente
(37:53) producir una gráfica o ecogramas a lo largo de una sección específica uno podría producir ecograma si no hacemos ningún tipo de filtración tomamos del principio a fin Pero sería como raro vamos a examinarse a la interpretación física sería a mí me parece extraña de algo que está haciendo todo tipo de movimientos que ocurrió a lo largo de seis horas bueno por lo menos a mí no me parece natural entonces lo que vamos a hacer es
(38:23) definir un área más específica que esta línea de norte a sur esta trayectoria y vamos a generar un ecograma nada más de esa parte para que la interpretación sea como más simple desde el punto de vista físico porque es una trayectoria norte a sur que paralela a la costa de los Estados Unidos que es norte sur Bueno de nuevo vamos a usar lo que vimos el open mft en este caso si estamos abriendo los datos de mvps y sin entrar en detalles solo les
(39:01) menciono que estos tres argumentos que le mencioné antes que eran clave han cambiado un poco porque lo que corresponde a los a este tipo de datos vemos de nuevo y tenemos como antes un Data y estas son sus características en este caso dado que m cada archivo de de mbbs es muchísimo más simple solo tenemos dos variables SB que es lo que bueno usaremos ambas y ahí está toda la la los metadatos relevante en decibeles claro y aquí
(39:42) guarda información sobre los pasos de procesamiento que se han dado Entonces como recordarán tal vez que les mencioné que cuando calculamos mbs le especificamos que el los intervalos de agregación eran de cinco metros en Rango y 20 segundos en el tiempo de Pin Entonces esto se guardó en estos atributos bueno Y también vale la pena aquí que mencionar que esto tiene en la dimensión del tiempo de Pin 821 valores hay tres
(40:20) canales o sea tres frecuencias y podemos ver que hay un esta coordenada de canal y esta variable por cada canal hay una frecuencia en hertz Y a lo largo del Rango es 150 valores bueno Esto del Canal la división entre canal y frecuencia es confuso pero es algo que tenemos que hacer porque de nuevo Héctor y marianza los expertos aquí podrían hablar de eso Pero hay una gran variabilidad y gama de configuraciones de los ecosonares y y hemos encontrado casos en que la
(41:03) configuración genera datos de la misma frecuencia que vienen de diferentes canales y teníamos que esa manejar eso la convención también tiene el mecanismo para manejar eso Entonces en la mayoría de los casos un canal cada solo hay una frecuencia y esta complejidad innecesaria pero lo que vamos a hacer cuando estamos lidiando con datos de este tipo que no tienen esta duplicaciones entonces podemos Eliminar esta complejidad de de esto de canal y reponerlo
(41:40) sustituirlo con la frecuencia Y tenemos esta función que eso es lo que hace si no hay duplicaciones elimina los canales y lo repone con la frecuencia mucho más amistoso y más obvio nosotros Emilio no sé si tiene que ver con esto alguna vez hemos grabado en la misma frecuencia en modo broadband y en modo cw en onda continua en este caso coincidiría la frecuencia pero tienes dos canales diferentes no me acuerdo lo suficiente de los casos
(42:16) que hemos visto si eso es lo que estás diciendo es el más común Pero bueno y Gracias Ahora vamos a hacer lo que dije antes que dentro de esa ruta que va como una línea primero horizontal después vertical después horizontal y después el otro lado vamos a definir una selección geográfica y para definirlo eso volviéndolo al tutorial de ayer Bueno yo viendo el mapa ya manualmente haciéndole así eh definir que sería una cajita geográfica
(42:55) Perdón geográfica que incluiría esa línea y aquí la he capturado en esos valores de latitud y longitud y usamos de nuevo como decimos ayer funciones básicas de geo pandas Y esto es una función de la librería que mencioné ayer que Bots o sea caja permite crear un rectángulo un polígono rectangular de una manera muy sencilla definiendo sus coordenadas de latitud y longitud o x y en las dos esquinas opuestas y le asignamos el crs
(43:32) tomando el crs del geodar frame de GPS Entonces esto Sencillamente hace una cajita solo para hacerlo más obvio vamos a hacer un plot ya está es como es una cajita bien delgada Bueno entonces ahora vamos a hacer un mapa que sigue más interpretable de la localización y aquí es donde usamos el carto para que les decía si meterme muchos detalles cartopay por ejemplo ya que maneja datos geográfico permite especificar el la proyección con la que
(44:07) estamos lidiando entonces aquí la proyección geográfica la cuatro tres dos seis tiene diferentes nombres y para bien o para mal en cartopay USA este nombre que también es común pues Sencillamente tener que lidiar con diferentes sinónimos para lo mismo A veces es confuso aquí especificamos que creo que Laura esto también que queremos está grilla de latitud y longitud y esto etiqueta amistosa de latitud y longitud y vamos a a en esta gráfica incluir los
(44:41) puntos de GPS y la cajita que hemos definido ahorita y también usamos La magia de geofandas que mencioné ayer que del GPS extraemos de su columna de geometría la caja geográfica Y eso nos permite definir el la extensión del mapa que queremos y eso lo definí basado en varios criterios que había usado quería tener un punto de referencia alguna ciudad conocida en este caso Portland que es la de Oregón que en la ciudad más grande de
(45:12) Oregón Bueno ahora correrlo y ahí está entonces Esta es los datos que tenés que estamos que extraímos de de los datos original son en rojo y en negro es la cajita que hemos definido aquí no hemos procesado nada Solo estamos visualizando para darnos una idea de dónde está en el mundo y ahora vamos a usar más funciones de geofandas ayer vimos el que es la juntar datos pasados en coincidencia espacial ahora lo que vamos a hacer es el clip que es
(45:51) un corte básicamente vamos a tomar la cajita y retener solo lo que está dentro de la cajita de los datos de GPS entonces aquí está la la caja del ruta de box y los datos de GPS Entonces primero hacemos esa extracción de los datos de GPS en realidad Estos son dos pasos muy diferentes una vez que tenemos que hemos extraído nada más los datos de GPS dentro de la cajita usamos esta función básica y poderosa de de exa
(46:24) Ray que es el cel o sea selección y Aquí hacemos un poco de magia la magia es que primero hacemos una operación Es más voy a dividir esto en dos partes vamos a hacer lo siguiente entonces lo que ha ocurrido aquí es primero ese corte de los datos de GPS basado en la cajita y después vemos los resultados y aquí pueden ver que esto es lo que nos queda ahora de de los datos de GPS y luego tomamos tal vez ayudaría esto
(47:12) entonces de nuevo es lo mismo datos que teníamos con su índice de tiempo entonces lo que vamos a hacer ahora es esta estos datos Recuerden que venían además de la del grupo de plataforma en otras palabras exclusivamente los datos de el GPS que y lo que tenemos es nada más la longitud y tiempo o sea fecha y y hora segundo etcétera ahora usamos vamos de de la lógica de una selección o filtrado espacial basado en esta cajita geográfica y ahora le extraemos su
(47:47) información de tiempo vamos a usar el el intervalo representado en esta cajita de tiempo del tiempo primero al último para aplicarlo cambiamos de datos ahora vamos a aplicárselo al al mbs y aquí pueden ver Esta es la el resultado ruta GPS gdf de esa corte de ahí el índice es una variable es un de tipo tiempo y le extraemos el mínimo y después les traemos el máximo y este slice es una función de Bueno creo que es de python General pero se usa mucho en exa rate y
(48:30) lo que nos dice esto es que en la coordinada pintime de mbs lo voy a mostrar de nuevo aquí que lo vimos arriba pero fácil olvidar todo esto Aquí está el que es la coordenada de tiempo en este Data set entonces en esa coordenada vamos a extraer el pedazo de los datos que está entre El intervalo de tiempo el mínimo y Máximo de los datos de GPS si hay alguna pregunta bueno en general no solo de este si hay cualquier pregunta tal vez Tengo un buen momento
(49:10) para detenerme haya una pregunta digo si la hayan dicho no de momento no hay preguntas pero adelante si alguien tiene alguna duda puede ser cualquier pregunta no Este es un buen momento y no importa si fue de antes que algo que dije al principio se han tratado de correr esto y no funciona lo que sea si alguien ha probado la merluza Yo sigo sin probar la no es común por allí esta especie es común pero no es común su consumo en
(49:53) restaurantes por ejemplo inclusive en supermercado como merluza sino que es más procesado parece que es un producto que sí es común en producto que no tienen el nombre de merluza pero por aquí por España sí es muy común la merluza parte de la razón por la que tenemos este proyecto de merluza es que Aparentemente y para mí fue una sorpresa la pesca de merluza es la más abundante en el Pacífico los Estados Unidos es la
(50:20) pesca más grande que hay y la primera vez por eso fue sorprendente que jamás había oído del inglés se dice Hey y no es algo que uno se le cuenta en restaurantes ni ni en productos muy comunes en los supermercados entonces me causó mucha darme cuenta su importancia económica Pacheco que le corre bien el código Bueno entonces sigo pero si tiene alguna pregunta por favor ahora ya hemos hecho todo el procesamiento que queríamos entonces para resumir de nuevo comenzamos con una
(51:04) una fuente de datos en la nube en el internet que tiene probablemente no sé de nuevo no sé cuántos archivos rock y ahí Eso incluye otros archivos no solo los ayer Héctor mencionó los archivos idx y sé que ahí están también entonces el total de archivo es probablemente rascan los Diez mil y los archivos Rock yo que sé unos cinco mil tres mil no sé pero hicimos una selección muy pequeña de eso para que esto fuera práctico basado en en el nombre de cada archivo
(51:40) que incluye el Time O sea la que creo que significa el especial más específicamente el la hora o Cuando comenzó archivo la manera que funcionan estos ecosonares y la escritura de archivos es que lo dejan encendido por un periodo determinado y después lo cierran digamos entonces graban una hora de dato y el el instrumento continúa activo la siguiente hora se graba un nuevo archivo y aquí le asignan en el nombre del archivo la obra
(52:13) en que la fecha y la hora o Cuando comenzó a grabar o cuando terminó a grabar no sé entonces utilizamos esa información terminamos nada más con dos archivos 300 megabytes nada más de yo que sé probablemente más de un terabyte de Data originales y procesamos eso uno por uno tanto para convertirlo a datos estándares Y luego para calibrarlos y generar el mbs y definimos esta filtro esta cajita geográfica es como un paso de dos de dos
(52:46) pasos o sea empezamos con el el la información espacial para luego extraer información temporal que es lo que le aplicamos a los datos de mps si los datos de acústica uno de los problemas que hay una gran cantidad de datos y bueno yo que trabajo con datos meso y Paty pelagicos y grabo a menudo hasta 2.000 metros de profundidad Pues claro la verdad es que son muchos datos y algo que se hace muchas veces es submuestreo no hacer un promedio y reducir la resolución vertical y
(53:18) horizontal nos Comenta también te comento coaching nos Comenta porque guardaron los datos calibrados como ruta igual Paz calibrados NC en formato de datos común y no en hdf 4 o zar bueno primero que no no usamos hdf cuatro directamente Aunque eso es es una técnicalidad el el cdf desde hace varios años su estructura interna para almacenar los datos usa hdf pero el en realidad lo que usan lo que se le llama el interfaz o el Api este
(54:01) lo que definió en el sdf pero en el fondo digamos se utiliza se utiliza hdf la razón por la que convertir los datos la conversión de datos y después escogí hacerlo o guardar los datos de mps en Netflix es arbitraria lo hice nada más para demostrar ambos y también porque hay una cada Data sdf es un solo archivo y son más común todavía más como un ver eh nedf Entonces como más fácil entenderlo digamos en cambio usar no es
(54:43) un archivo es un cada Data set se convierte en un folder con una toda una estructura y a veces puede ser más confuso para el que no está acostumbrado y un poquito menos fácil de digamos mandárselo a alguien porque es todo Es toda un directorio con sub directorio pero básicamente fue arbitrario pude haber hecho usar para ambos a ver dónde estaba Ah estaba explorando la ruta mvsds que igual al mpp ese que teníamos
(55:19) nada más que con en una filtrado o sea con menos dato Bueno ya casi llegamos aquí solo quería ver Mostrar basado en la frecuencia Cuáles son las frecuencias que que estamos con las que estamos trabajando o sea que con las que tiene este instrumento y influencia en Entonces tenemos las 18 38 120 kilos y también Aquí vamos a imprimir el rango de o el intervalo de bueno de horas principalmente Aunque podríamos decir que es año de fecha y hora pero la fecha es la misma esto que
(56:07) que bueno lo usamos pasado en la ruta GPS gdf Recuerden que el índice es un Time Stand o sea de tiempo le extraemos el mínimo y esto que está aquí es algo que mostró Denis es bastante común este patrón de para si tenemos datos para ya sea imprimir o representar como texto datos de de fecha y hora Esto representa aquí le estamos diciendo que tomando esos datos queremos presentarlo como año guión mes mes en no en número sino que en
(56:49) palabra día espacio hora minuto y el carácter Z que significa utc esta este patrón es bien común en diferentes lenguajes no son en python y como les decía se usa tanto para imprimir en texto como para leer texto de tiempo y de fechas y tiempo y convertirlos hacia un tipo de dato que inherentemente son de tiempo en Bueno y este es el final pero quería aprovechar también para volver a lo que presente bien rápidamente ayer que era
(57:27) el paquete de creo que fue ayer de interactivo entonces voy a tomarlo el Data set que hemos generado nuestro producto final aplicamos el HB plot esto se podría hacer Igual con una gráfica en más el los puedo mostrar aquí como les decía esta este tutorial está basado en en este ejemplo pero con algunas modificaciones Y en este caso usamos para generar ecogramas estáticos toma Más trabajo hacer Bueno en este caso
(58:08) Teníamos dos rutas un arsú y otra al norte pero toma Más trabajo especificar detalles de cada uno de esto y cómo ordenarlo Y por supuesto no son interactivos Entonces en este caso es mucho más compacto y es interactivo aquí solo especificamos que va a ser una imagen que la x usamos la dimensión o coordenada Pink Time en la y L echo Range que es el el rango el para el color lo que estamos viendo Es el mvps básicamente
(58:42) el los colores vamos a cortar los colores entre cierto Rango y las etiquetas del xy el tamaño etcétera Bueno entonces lo corremos ahora no sé si ya lo había corrido no Ah no lo había corrido y como verán es interactivo y además en vez de presentarnos tres de un solo pude automáticamente no nos detecta que tenía la dimensión de frecuencia nominal cuyo nombre más amistoso es transductor frecuencia y frecuencia el traductor eso lo extrae directamente del Data set
(59:25) y permite explorarlo extraño No sé si está cambiando no lo veo que esté cambiando ahora sí y también como es interactivo podemos hacer Bueno esto por cada píxel nos da los valores del pin Time como pueden ver ahí del Rango etcétera Pero para mí es más bien una distracción Entonces lo voy a pagar pero si lo que podemos hacer es si algo alguna región que nos interesa yo que sé digamos esto y después podemos investigarlo en la otra frecuencia
(1:00:38) no sé por qué no está comportándose como debería este botón debería regresarlo a a la versión no sé algo tenía que ir mal y bueno eso es todo en cuanto a y no tengo idea cómo estoy con la obra Marian Pues ahora mismo Bueno 5 y 25 Aquí son las 9:25 No creo Guatemala propongo que hagamos una paradita de 5 minutos quizás bueno primero ver si hay preguntas finales para Emilio después podemos ir a hacer una paradita y
(1:01:17) retomamos yo si queréis puedo presentar rápidamente tres repositorios con datos que incluyen datos de acústica y después de la pausa y ya pasamos a los proyectos a hablar comunes y ha habido algún tipo de dudas cualquier cualquier cosa que queráis comentar en el grupo general y dependiendo de cómo cómo asignamos el tiempo puedo tomarme un par de minutitos para hablar un poco más de datos temporales que no lo hice mucho Aquí
(1:01:44) Venga pues adelante Muy bien pues nos vemos a y media Entonces si alguien tiene más dudas que puede ir escribiendo en el chat y las contestamos a continuación