Márton Salomváry
@mrc@mastodon.berlin
Freelance software plumber. Cyclist, coffee addict, nature-lover, bread maker, masochist train traveler. He/him. English/Deutsch/magyar.
mastodon.berlin
Márton Salomváry
@mrc@mastodon.berlin
Freelance software plumber. Cyclist, coffee addict, nature-lover, bread maker, masochist train traveler. He/him. English/Deutsch/magyar.
mastodon.berlin
@mrc@mastodon.berlin
·
Mar 27, 2026
I might have said this earlier but worth repeating. DuckDB is freaking amazing! Today I worked on a 56G TSV file containing 55 million rows of JSON serialized documents (all of OpenLibrary editions).
I can query this file including filtering on nested JSON structures and most queries complete in a few dozen seconds worst case, but I can also create derived indexes to bring down query times to milliseconds.
All in memory on an M1 Mac with 64GB RAM.
#DuckDB #OpenLibrary #BigData
3
1
0
MWilde
@matwilde@kanoa.de
Nachdem ich nun mehrere Jahrzehnte bewusst soziale Medien (außer privat Signal Messenger) gemieden habe, mache ich nun meine ersten Gehversuche mit #mastodon.
kanoa.de
@LinuxGuides@mastodon.social Den Vortrag #ETL mit #Python insbesondere bezgl. #DuckDb würde ich mir gerne als Aufzeichnung ansehen, wo finde ich den Link dazu?
Die Links die ich auf @fosdem@fosstodon.org gefunden habe, scheinen alle Live Streams zu sein?
0
0
1
You've seen all posts