Datos
Los datos en bruto se obtienen de la web de la Comision Nacional del Mercado de Valores (CNMV) mediante scraping.
Se han desarrollado programas python, con el apoyo de Phantomjs, Casperjs, y Selenium.
El tratamiento de los ficheros XBRL y la clasificación de los datos se hace con programas python que cuentan con la ayuda de Arelle.
Los datos se almacenan en una BBDD CouchDB y se sirven en formato json.
Aplicación Web
Funcionamiento íntegramente en cliente; una vez se cargan los datos todo el trabajo se hace en el navegador.
Basada en la infraestructura proporcionada por AngularJS y BootStrap.
La funcionalidad particular de jucaspe.com no sería posible sin Crossfilter y D3.
Se usan otras muchas herramientas:
- coverflow
- greensock
- gridsterjs
- hammerjs
- introjs
- json3
- lz-string
- ng-csv
- ngInfiniteScroll
- renderjson
- underscore
- y no podía faltar jquery
Para la generación de páginas estáticas se utiliza Pelican.
El entorno de desarrollo se apoya en node.js con Bower como herramienta para mantenimiento de paquetes y librerías. Grunt es el motor de generación de versiones y despliegue. El servidor web que utilizo para hacer pruebas globales es nginx.
Todas las herramientas se integran perfectamente en IntelliJIDEA.
Otras Funcionalidades:
Para el soporte de funcionalidades adicionales se utilizan las siguientes herramientas/servicios:
- Google Analytics y piwik para conteo de paginas, eventos,... .
- addthis para los botones sociales.
- disqus para los comentarios.
- bitly para acortar urls.