Autonomie numérique et technologique

Code et idées pour un internet distribué

Linkothèque. Carnet de bord. Page 28


Python geopandas choropleth map

There are different ways of creating choropleth maps in Python. In a previous notebook, I showed how you can use the Basemap library to accomplish this. More than 2 years have passed since publication and the available tools have evolved a lot. In this notebook I use the GeoPandas library to create a choropleth map. As you’ll see the code is more concise and easier to follow along.

La modificación más relevante es la que hace que se deje de dar visibilidad a los contenidos que están a punto de violar las condiciones de uso de Facebook. Es decir, las publicaciones que se acercan a las líneas rojas marcadas por la red sobre desinformación, violencia, incitación al odio, clickbait y amenazas; incluso aunque no hayan violado estas condiciones de forma estricta.

Repository of photos gifted by the world’s most generous community of photographers.

All photos published on Unsplash can be used for free. You can use them for commercial and noncommercial purposes. You do not need to ask permission from or provide credit to the photographer or Unsplash, although it is appreciated when possible.

More precisely, Unsplash grants you an irrevocable, nonexclusive, worldwide copyright license to download, copy, modify, distribute, perform, and use photos from Unsplash for free, including for commercial purposes, without permission from or attributing the photographer or Unsplash. This license does not include the right to compile photos from Unsplash to replicate a similar or competing service.

“Esta es la mejor época de la historia de la humanidad para ser un buscador del conocimiento”, dice David Weinberger. Sin embargo, advierte que, “también es la mejor época de la historia de la humanidad para ser un idiota”. En su charla sobre Conocimiento y democracia, Weinberger observa las maneras en las que Internet ha cambiado cómo accedemos al conocimiento y cómo ha transformado su estructura. El conocimiento tenía en el papel su principal medio: fijado, inmutable y desconectado de la misma manera que un libro está separado de los demás. « Ahora el conocimiento se ha convertido en una red », dice, y ha tomado las propiedades de la red: « es inclusivo, hiperconectado, suelto, nunca fijado y siempre sujeto a discusión ». Estas fortalezas y debilidades llevan consigo una nueva capacidad del conocimiento para crecer hasta límites insospechados. Por otro lado, Weinberguer señala que el conocimiento se enfrenta también a retos terribles, a las “cámaras de eco” en las que personas que piensan de manera similar hablan sin enfrentarse a puntos de vista opuestos,. Estas cámaras de eco surgen, en su opinión, no sólo por las debilidades humanas, sino por la naturaleza de la conversación y la compresión de sí mismas. Esto significa que no hay soluciones fáciles a la forma en la que la Red está fracturando el discurso. Será necesaria la educación y la voluntad de escuchar las voces de los más vulnerables.

In the first part of this three-part series using a Raspberry Pi for network-attached storage (NAS), we covered the fundamentals of the NAS setup, attached two 1TB hard drives (one for data and one for backups), and mounted the data drive on a remote device via the network filesystem (NFS). In part two, we will look at automating backups. Automated backups allow you to continually secure your data and recover from a hardware defect or accidental file removal.

cmus is a fast and flexible music player. It organizes your music by either musician or album title, and lets you load playlist files. You can also use cmus’ built-in search function to look for music in your /home directory and you can switch between several different layouts.

MOC (short for Music on Console) is a dual-pane music player that’s similar to cmus. The left pane lists the tracks in a folder, while the right pane contains the contents of a playlist file (if there is one in the folder).

If you want a quick and dirty way to play music files, then mpg123 and ogg123 are good options. I’ve lumped them together because both applications are very similar. In fact, the only difference between the two applications is the file formats they support.

ripit isn’t a music player, but it can help you feed your music player. It’s a script that works with a number of utilities and audio encoders—like cdparanoia, cdda2wav, Ogg Vobis, and LAME—to convert the tracks on a CD to files on your hard drive.

Use Netlify CMS with any static site generator for a faster and more flexible web project.

Static + content management = ♥

Get the speed, security, and scalability of a static site, while still providing a convenient editing interface for content.
An integrated part of your Git workflow

Content is stored in your Git repository alongside your code for easier versioning, multi-channel publishing, and the option to handle content updates directly in Git.
An extensible CMS built on React

Netlify CMS is built as a single-page React app. Create custom-styled previews, UI widgets, and editor plugins or add backends to support different Git platform APIs.

Markdown Extra is an extension to PHP Markdown implementing some features currently not available with the plain Markdown syntax. Markdown Extra is available as a separate parser class in PHP Markdown Lib.

Diagrama de pesos según metodología de contabilidad de viviendas turísticas en Valencia

El trabajo de @data_hippo tiene muchísimo valor. Porque da acceso público a datos que hoy en día no entran en estadísticas oficiales. Pero a la hora de cuantificar la oferta real en la ciudad es importante leer su metodología: https://datahippo.org/es/datamodels/

Contabilizan registros de viviendas que pueden haberse publicado hace dos meses solo un fin de semena igual que una vivienda que está activa todo el año. Cuentan viviendas que han salido hace tres meses pero igual no está activa este mes.

Para inspección debe ser una buena herramienta, porque muestran todos los que se publicitan. Para estimar impactos debe de trabajarse su base de datos (es #opendata) y se puede desagregar en función de fecha de descarga por primera vez y las actualizadas.

Por ejemplo, para #Barcelona han publicado una oferta de 27.000 apartamentos en @airbnb cuando la oferta activa media es realmente 16.350, donde además se debe separar entre viviendas enteras (7.930) y habitaciones (8.420), esta última además debe entenderse como oferta legal

En el informe al que pareces hacer referencia realizado por @VLCenComu y @Maria_Oliver_ se han analizado mal los datos de @data_hippo . Publican el dato de #VT (viviendas turísticas) para #Valencia de 11.150, y 1.400 nuevas en 3 meses.

ERROR DE NO ELIMINAR REPETIDOS: para ello @VLCenComu interpretamos que han sumado linealmente los datos de las cuatro plataformas que publica @data_hippo en su #opendata sobre la ciudad de #Valencia

De esa descarga se obtendrán los siguientes datos – @airbnb = 9.394 – @homeaway = 1.125 – @HouseTrip = 318 – @onlyapartments = 288 Total = 11.125 (error de 25) De ahí parece salir el dato (agregado) de la oferta actual en septiembre que publica @levante_emv y los 1.400

ERROR CONSIDERACIÓN DE LA FECHA DE MUESTRA: como comentamos en el hilo precedente @data_hippo publica datos agregados de meses, y es importante analizar en detalle las fechas de la última actualización de cada registro. Lo hemos hecho con el siguiente resultado:

REGISTROS ACTUALIZADOS SEPTIEMBRE 2018: si consideramos los registros actualizados durante todo el mes de septiembre, el resultado agregado de las cuatro plataformas es de 6.445 anuncios. En la misma base de datos hay 1.408 registros que no se actualizan desde 2017.

ESTIMACIÓN CONJUNTA VT y HABITACIONES. En la estimación de @VLCenComu se debe deducir que no han desagregado las habitaciones de las viviendas completas (equiparables a las VT). Si así lo hiciese el valor sería inferior: 4.645 VT, y 1.800 habitaciones identificadas en Sep.

Si así lo hubiesen hecho habrían descubierto que @theAirDNA tiene hoy mismo publicada una oferta activa de anuncios SOLO de @airbnb de 4.926 VT (completas) y 2.141 habitaciones. Si solo se analizan los datos de @data_hippo actualizados en septiembre para la misma plataforma

Entonces el informe de @VLCenComu hubiese recogido para @Airbnb 3.997 VT, y 1.800 habitaciones, más cercano dato de @theAirDNA . Cabe aportar que el dato de @inAtlas de julio es, para @Airbnb , de 4.827 VT, y 2.085 habitaciones, en el mismo orden de magnitud

METODOLOGÍA DE CONTABILIDAD: es importante definir bien la metodología de adquisición de datos y de cuantificación, con el mero objetivo de saber qué se cuenta y saber qué decisiones de ordenación se toman en consecuencia. En este sentido @terra_urbe comparto un diagrama:

DIAGRAMA DE PESOS SEGÚN METODOLOGÍAS DE CONTABILIDAD DE #VT de @Airbnb : En el mismo se toma como valor 100 el volumen de registros acumulados durante toda la vida de la plataforma en una ciudad. Este valor es el publicado por @theAirDNA en su indicador #RentalGrowth

Diagrama de pesos según metodología de contabilidad de viviendas turísticas en Valencia

Este valor acumulado lo han venido usando en una importante cantidad de investigaciones científicas de #EEUU en el análisis del impacto de @Airbnb sobre el precio de alquiler o sobre los precios hoteleros. Si consideramos sólo los publicados los últimos 6 meses, el dato sería

El 37% del principal. Si fuesen 3 meses se quedaría en el 26%, que es el dato más asimilable a la metodología de @data_hippo . En el caso de coger 1 mes, el resultado sería del 21% que es la metodología que usa @theAirDNA (ellos anuncian que son 2 semanas de acumulados)

Many datasets are intrinsically hierarchical. Consider geographic entities, such as census blocks, census tracts, counties and states; the command structure of businesses and governments; file systems and software packages. And even non-hierarchical data may be arranged empirically into a hierarchy, as with k-means clustering or phylogenetic trees.

This module implements several popular techniques for visualizing hierarchical data:

Node-link diagrams show topology using discrete marks for nodes and links, such as a circle for each node and a line connecting each parent and child. The “tidy” tree is delightfully compact, while the dendrogram places leaves at the same level. (These have both polar and Cartesian forms.) Indented trees are useful for interactive browsing.

Adjacency diagrams show topology through the relative placement of nodes. They may also encode a quantitative dimension in the area of each node, for example to show revenue or file size. The “icicle” diagram uses rectangles, while the “sunburst” uses annular segments.

Enclosure diagrams also use an area encoding, but show topology through containment. A treemap recursively subdivides area into rectangles. Circle-packing tightly nests circles; this is not as space-efficient as a treemap, but perhaps more readily shows topology.

NYC Street Trees by Species. Screenshot

New York City’s urban forest provides numerous environmental and social benefits, and street trees compose roughly one quarter of that canopy. This map shows the distribution and biodiversity of the city’s street trees based on the last tree census.

Lime es una empresa estadounidense, fundada en 2017 y participada por Uber y Alphabet (el conglomerado al que pertenece Google), que llegó a Madrid a principios de agosto. De un día para otro, dejó cientos de patinetes eléctricos en la calle: su negocio consiste en alquilarlos por minutos a través de una app y en vender a sus usuarios la libertad de aparcarlos en cualquier sitio. La recién aprobada ordenanza de movilidad de Madrid les permite operar sin pasar por concurso ni licencia: solo exige a las empresas que compartan la localización de los vehículos y se reserva el derecho a limitar cuántos hay y en qué zonas se concentran.

No abrimos el procesador de texto, sino “word”. No pedimos que nos manden una hoja de cálculo sino un “excel”. Ya no buscamos en Internet, sólo “googleamos”. Y cuando modificamos una foto estamos “phothosopeando”.

Las palabras son fundamentales a la hora de construir la realidad. Comenzar a nombrar las cosas adecuadamente es el principio para concebirlas de forma distinta. Algo que parece obvio en temas de género donde asumimos la necesidad de utilizar un lenguaje inclusivo para visibilizara a las doctoras y juezas, nos cuesta aún en los temas tecnológicos.

Con la eficiente estrategia de “regalar” licencias educativas los sistemas privativos se fueron enquistando en las computadoras de colegios y universidades. Los alumnos y alumnas consumen esa primera dosis de software privativo y quedan enganchados para siempre.

Aún hay quienes opinan que instalar software ilegal (“pirata”) en sus computadoras es una forma de resistencia contra el monopolio privativo del software. Pero de seguro nunca incentivarían la siembra de semillas transgénicas aunque no hubieran tenido que pagar por ellas.

el mito de los cinco venenos blancos no se centra en esta cuestión, sino que compara ciertos alimentos (sal, azúcar, harina, arroz y leche) con sus versiones procesadas. Así, viene a decir que la leche cruda presenta innumerables ventajas y beneficios para la salud frente a la leche pasteurizada, que se supone perjudicial por el mero hecho de haber sido procesada. Esta idea, que deriva de la extendida creencia de que todo lo « natural-artesanal-tradicional » es bueno y todo lo « artificial-industrial-moderno » es malo

la herramienta de código abierto OpenPapers (https://github.com/300000kms/openPapers) desarrollada por 300.00Km/s (http://300000kms.net/) que hace uso de la baja tecnología para acceder al mayor público posible y garantizar la correcta recolección del dato. En vez de desarrollar una app móvil con posibilidad de utilizar el GPS (https://es.wikipedia.org/wiki/GPS) para el geoposicionamiento además de otras ventajas, se desarrolló algo aparentemente tan simple com un atlas de la ciudad en papel.

El uso de mapas de papel cubre la necesidad de utilizar grandes cartografías que permiten a los grupos de exploración tener una visión global del territorio a recorrer. También se optó por el papel para mejorar la calidad del geoposicionamiento. El efecto túnel que producen las calles estrechas (https://eng.uber.com/rethinking-gps/) junto con la lenta e irregular velocidad en la que se desplazan los voluntarios impiden una utilización fiable del GPS, generando un gran margen de error a la vez que desorientando a los mismos voluntarios. La utilización del papel permite reducir los requisitos de formación de los voluntarios en cuanto al conocimiento de tecnología, lo que favorece la participación de personas de muy bajos recursos que anteriormente habían vivido en la calle y que ahora ayudan en estos procesos. De este modo, el papel cumple los requisitos tecnológicos que otras herramientas más modernas todavía no alcanzan.

Gracias a la colaboración ciudadana es posible generar datos que de otra forma sería imposible obtener. La colaboración masiva puede aportar números relevantes para datificar problemas imposibles de trazar mediante sensores y que éstos no sean olvidados. La brecha de datos es un nuevo reto en nuestra sociedad que encuentra una respuesta en la acción ciudadana organizada capaz construir abordar las nuevas cuestiones que se nos plantean.

In the last two decades, states have relied on private contractors to support military operations in conflict situations. Without the necessary democratic scrutiny and public debate, Private Military and Security Companies (PMSCs) have provided services that traditionally were performed by national armies and public authorities –such as interrogation of detainees, protection of military assets, training of local armed forces, collection of intelligence and the performance of defensive and even offensive military activities-.

En Cuelgamuros hay 33.833 cadáveres, 12.410 de personas desconocidas, arrastrados desde casi todas las provincias de España. Son los otros muertos del Valle de los Caídos.

De Madrid hay 4.083 muertos cerca de Franco. Le siguen Tarragona con 3.902 y Zaragoza con 3.691. Luego hay 2.346 de Teruel y más de mil de Asturias, Lleida y Castellón. El mapa arroja un dato llamativo: apenas 466 cadáveres trasladados desde Andalucía, la región que acumula un mayor número de desaparecidos forzados y fosas comunes generadas por el genocidio fundacional del franquismo. O Extremadura, con apenas 127.

No constan registros de entrada desde Ourense, Pontevedra ni Santa Cruz de Tenerife. Y solo 157 de los cuerpos registrados son mujeres, según la asociación Innovation and Human Rights (IHR), que ha analizado los datos de procedencia de las 20.324 personas identificadas cuyos restos fueron llevados al Valle de Cuelgamuros. Los nombres quedaron documentados en los libros de registros de la Abadía de la Santa Cruz del Valle de los Caídos, con ingresos anotados desde el 17 de marzo de 1959 al 3 de julio de 1983.

En 1959 fueron trasladados un total de 11.329 cadáveres. Fue el año de más actividad en las fosas. Doce meses después había otros 2.502 más y luego otros 6.608 en 1961. El teórico desarrollismo económico del país en la década de los 60 llenó algunas arcas y también el mayor osario de la guerra civil. El cementerio del Valle de los Caídos continuó acogiendo restos humanos hasta 1983.

I’ve been using Debian for over a decade, I recall being about to restart the network cleanly via an init script. Nowadays I don’t even know, every time I start searching I end up just rebooting and that works and I feel shitty about my life and humanity in general.

(yes, I’ve even checked here: https://wiki.debian.org/NetworkConfiguration#Setting_up_an_Ethernet_Interface and not a word)

I’m tired of playing around and guessing, what is the correct way to get this done ?

P.S. Why has nobody created a package called ‘pony’ to do this already ?

So what is a RAID array? Being here you probably have enough interest in computers to have heard of RAID but unless you are slightly obsessed with hard drive technology you probably haven’t learned much about it. RAID has been, and to a large part still is the domain of higher-level servers.

RAID describes three main abilities that can be implemented either alone or in combination to best fit various scenarios. These features include « stripping », « mirroring » and « parity ».

Stripping, known as RAID level 0 or RAID0 is the process of using two or more drives for simultaneous writing and reading. When a file is to be written to a stripped array the data is divided into chunks and written to the drives in the array at the same time. As a loose example you can take a 10MB file and write it to a RAID0 array with two drives in roughly the time it would normally take to write a 5MB file (twice the speed). The same 10MB file could be written to an array with five drives in roughly the time it would have taken a 2MB file to be written to a single drive (five times as fast). Calculating the actual speed benefits isn’t so cut and dry because of other overhead but you get a good idea.

Next up is « Mirroring » or RAID1. As its name implies, two drives are mirror images of one another. If one drive fails the data is safe thanks to the second identical drive. The down side is that 50% of the physical hard drive space is wasted.

Finally we get to « Parity », used in RAID3, 4, 5 and 6 but most popularly in RAID5. Remember in math class you asked « where will I ever use this in the real world? » Well my friends, Boolean algebra has allowed us a very efficient was to protect data. Lets use a RAID5 array for this example but first let me describe a RAID5 array.

In a RAID5 array you need a minimum of 3 disks. The more you add though the better performance you gain and the more efficiently you use your disk space. The trade off is you need an increasingly more powerful RAID controller and that translates to a higher cost. In a RAID5 array performance is increased by stripping data across the available drives (RAID0). In a RAID0 array though a single disk failure will destroy all the data because part of just about every file is on each disk. Parity is added in RAID5 to deal with this.

NumPy (short for Numerical Python) is one of the top libraries equipped with useful resources to help data scientists turn Python into a powerful scientific analysis and modelling tool. The popular open source library is available under the BSD license. It is the foundational Python library for performing tasks in scientific computing. NumPy is part of a bigger Python-based ecosystem of open source tools called SciPy.

Pandas is another great library that can enhance your Python skills for data science. Just like NumPy, it belongs to the family of SciPy open source software and is available under the BSD free software license.

Matplotlib is also part of the SciPy core packages and offered under the BSD license. It is a popular Python scientific library used for producing simple and powerful visualizations. You can use the Python framework for data science for generating creative graphs, charts, histograms, and other shapes and figures—without worrying about writing many lines of code. For example, let’s see how the Matplotlib library can be used to create a simple bar chart.

FACUA advierte de que España es el tercer país que más agua embotellada utiliza, pese a que según diferentes estudios el 99,5% del agua de grifo del país es apta para el consumo y saludable. Además, la asociación también se hace eco de las informaciones de la Comisión Europea, que ha hecho público que el consumo de agua de grifo ahorraría más de 600 millones de euros al año a los hogares europeos y reduciría los residuos plásticos.

la tasa de segregación escolar en Madrid, la más alta de España.

En la comunidad, según el informe de Save the Children Mézclate conmigo el índice de segregación escolar socioeconómica es 0,36. Es decir, para que no existiera segregación deberían redistribuirse en otros centros al 36% de los niños y niñas. Una situación que se agrava si se tiene en cuenta que la tasa de pobreza infantil en España es del 31% (uno de cada tres), según datos del Instituto Nacional de Estadística.

Se trata de la residencia digital (o e-residency, en inglés), con la que cualquier persona puede hacerse residente de este pequeño país de 1,3 millones de habitantes sin necesidad de vivir allí.

La residencia digital no aporta la ciudadanía ni exime de la necesidad de la visa. El objetivo es que los nuevos residentes contribuyan a la economía del país utilizando sus bancos y abriendo empresas.

La residencia digital, en cambio, permite a los emprendedores abrir su negocio sin necesidad de contar con un director local en el país, así como acceder a los servicios bancarios y de pagos online, declarar los impuestos a través de internet o firmar documentos sin poner pie en Estonia.

La iniciativa se lanzó en 2014 y ya hay más de 20.000 residentes digitales. En total, manejan unas 3.000 empresas, según datos oficiales.

…los datos empoderan y dan herramientas a los ciudadanos para diseñar sus propios espacios. El derecho a construir (Right to Build) busca abordar la crisis económica de la vivienda y el futuro de la planificación urbana democrática, un desarrollo dirigido por los ciudadanos, capaces de pensar viviendas, infraestructuras, barrios y ciudades resilientes. El sector ciudadano puede ser el agente principal del diseño urbano para que las ciudades sean creadas por los vecinos y no para ellos.

The service, called Dataset Search, launches today, and will be a companion of sorts to Google Scholar, the company’s popular search engine for academic studies and reports. Institutions that publish their data online, like universities and governments, will need to include metadata tags in their webpages that describe their data, including who created it, when it was published, how it was collected, and so on. This information will then be indexed by Dataset Search and combined with input from Google’s Knowledge Graph. (That’s the name for those boxes that pop up for common searches. So if dataset X was published by CERN, some info about the institute will also be included in the results.)