Aktivismus v praxi: digitalizace knih

Diskuse členů a příznivců o věcech přesahujících působnost orgánů, netýkajících se programu nebo o straně jako celku.

Moderátoři: Administrativní odbor, Předsedající

Pravidla fóra
Než napíšete nový příspěvek, zamyslete se, zda má takovou hodnotu, aby ho musely číst stovky lidí.
  • Aktuální politické kauzy lze řešit v příslušné části veřejné diskuze.
  • Části programu, současné či budoucí, diskutujte na fóru Pirátský program.
  • Podání orgánům a jednoduché návrhy čiňte v příslušné podatelně.
  • Pokud chcete něco rozhodnout(usnést, zvolit, odvolat, přijmout), podejte členský podnět. Ale nejdřív zvažte, jestli by na to nestačil třeba republikový výbor.
  • Povídat o čemkoli si můžete v Podpalubí, což je skrytá část fóra otevřená všem zájemcům. (Je třeba se přidat do skupiny "Zobrazit - Podpalubí".)
Dodržujte prosím pravidla fóra.
Uživatelský avatar
next_ghost
Návštěvník – nepatří k Pirátům
Příspěvky: 3239
Registrován: 21 dub 2009, 18:03
Profese: programátor
Dal poděkování: 1433 poděkování
Dostal poděkování: 5131 poděkování
Kontaktovat uživatele:

Aktivismus v praxi: digitalizace knih

Příspěvek od next_ghost »

Oslavy volebních úspěchů pozvolna končí a teď nás čekají 2 roky klidu, kdy můžeme přípravu na další volby pojmout mnohem užitečnější formou. Takže je na čase představit projekt, který jsem sliboval ve vlákně o pirátské knihovně.

Takže ve zkratce: Vyloupíme digitální archiv Národní knihovny a ze všech knih, na které už vypršel kopírovací monopol, naděláme plnohodnotné e-knihy. :twisted:

Národní knihovna (a ještě pár dalších českých knihoven) zveřejňuje databázi digitalizovaných knih přes systém Kramerius OFFTOPIC(specifikace protokolu, server NKP), odkud se dají naimportovat všechna potřebná data. U knížek, na které už vypršel monopol, jsou k dispozici i naskenované obrázky jednotlivých stran a neupravený OCR text. Tím ale podle všeho digitalizace skončila a převod archivů na plnohodnotné e-knihy se neplánuje, i když Pražská městská knihovna občas převádí knížky některých významnějších spisovatelů.

Příklad metadat ke knize Svatý Xaverius
Příklad naskenované stránky (formát DjVu, PNG verzi najdete v příloze tohoto příspěvku)
Příklad té samé stránky převedené pomocí OCR

Jak můžete vidět na příkladech výše, převedené texty jsou celkem kvalitní, ale je potřeba je ručně vyčistit, opravit a naformátovat, aby se z nich dala poskládat e-kniha. To bude cílem našeho projektu. Spustíme webový portál, kam se naimportují texty i obrázky z databáze NKP, a přes jednoduché webové rozhraní budeme formou crowdsourcingu postupně opravovat a formátovat jednotlivé stránky, aby text odpovídal obrázkům.

Aktuálně mám naprogramovanou většinu kódu pro import seznamu knížek i jednotlivých stránek z databáze NKP. K naprogramování samotného webového portálu jsem se ještě nedostal, protože dokončení překladu Swarmwise mi zabralo mnohem víc času, než jsem měl v plánu. Zdrojáky zveřejním co nejdřív, aby se mohlo zapojit víc lidí.

Jako název navrhuju "Projekt Erben". Kramerius byl významný vydavatel, Erben byl pro změnu spolu s Boženou Němcovou sběratelem lidových pohádek.
Přílohy
PNG verze příkladu naskenované stránky
PNG verze příkladu naskenované stránky

Chceš, aby organizace fungovala? Komunikuj!
Česká pirátská strana: Neškodná.

Uživatelský avatar
Lenka.Kozlova
Příznivec Pirátů – Jihočeský kraj
Příspěvky: 3167
Registrován: 11 čer 2012, 09:34
Profese: vychovatelka
Dal poděkování: 9057 poděkování
Dostal poděkování: 3408 poděkování
Kontaktovat uživatele:

Re: Aktivismus v praxi: digitalizace knih

Příspěvek od Lenka.Kozlova »

Super nápad, stálo by za zpropagování na stranických kanálech. Co na to MO?
Tito uživatelé poděkovali autorovi Lenka.Kozlova za příspěvek:
Petr.Bajgar

Podporuji myšlenky Renesance Pirátů. web | forum | zulip

Uživatelský avatar
next_ghost
Návštěvník – nepatří k Pirátům
Příspěvky: 3239
Registrován: 21 dub 2009, 18:03
Profese: programátor
Dal poděkování: 1433 poděkování
Dostal poděkování: 5131 poděkování
Kontaktovat uživatele:

Re: Aktivismus v praxi: digitalizace knih

Příspěvek od next_ghost »

Spuštění stranického GitLabu bude nejspíš TO ještě nějakou dobu trvat, tak jsem prozatím zdrojáky pracovního systému nahrál na GitHub. Drtivá většina kódu zajišťuje import dat z OAI repozitáře národní knihovny. Z webové části systému je tam zatím jen zobrazovač obrázků naskenovaných stránek, zbytek webového rozhraní včetně administrace bude třeba teprve napsat.
Tito uživatelé poděkovali autorovi next_ghost za příspěvky (celkem 3):
Alexandr.Mansurov, Pavel.Moravec, Filip.Krska

Chceš, aby organizace fungovala? Komunikuj!
Česká pirátská strana: Neškodná.

Uživatelský avatar
Dominika.Michailidu
Republikové předsednictvo
Příspěvky: 3691
Registrován: 28 črc 2011, 22:13
Profese: výtvarník
Bydliště: Krnsko
Dal poděkování: 8302 poděkování
Dostal poděkování: 6372 poděkování

Re: Aktivismus v praxi: digitalizace knih

Příspěvek od Dominika.Michailidu »

Bylo by super, kdyby ses moh zúčastnit schůzky MO medialni-odbor-f181/mumble-schuzka-mo-5 ... 27013.html Jestli jsem to teda pochopila správně, je všechno vymyšleno, hotovo, až na web pro uživatele a převaděče + propagaci a zapojení lidí?

Svobodný internet nedáme. Ale vemte si místo něj válku proti drogám.
Me gusta myšlenky Renesance Pirátů. web | forum | zulip

Uživatelský avatar
next_ghost
Návštěvník – nepatří k Pirátům
Příspěvky: 3239
Registrován: 21 dub 2009, 18:03
Profese: programátor
Dal poděkování: 1433 poděkování
Dostal poděkování: 5131 poděkování
Kontaktovat uživatele:

Re: Aktivismus v praxi: digitalizace knih

Příspěvek od next_ghost »

Dominika Michailidu píše:Jestli jsem to teda pochopila správně, je všechno vymyšleno, hotovo, až na web pro uživatele a převaděče + propagaci a zapojení lidí?
Vymyšleno to je už od jara (odkládal jsem to kvůli letošnímu volebnímu maratonu) a hotový je jenom import dat z databáze NKP. Napsat ten webový editor dá podstatně víc práce než to, co je prozatím hotové. Na mumble schůzi se budu snažit přijít, ale na propagaci mimo stranu je zatím ještě brzo.
Tito uživatelé poděkovali autorovi next_ghost za příspěvky (celkem 2):
Jana.Syrovatkova, Dominika.Michailidu

Chceš, aby organizace fungovala? Komunikuj!
Česká pirátská strana: Neškodná.

Uživatelský avatar
Zdenek.Strnad
Návštěvník – nepatří k Pirátům
Příspěvky: 480
Registrován: 08 črc 2012, 11:07
Profese: novinář, projektový manažer
Bydliště: Praha 10
Dal poděkování: 118 poděkování
Dostal poděkování: 783 poděkování

Re: Aktivismus v praxi: digitalizace knih

Příspěvek od Zdenek.Strnad »

Dotaz: jaky bude mit to webovy rozhrani funkci? Jakoze se to bude editovat primo v tom?

Neslo by to delat tak, ze by se stanovil standardizovany format, a zacalo se na tom pracovat uz ted? Nejsem technik ani programator a muzu se mylit, ale zda se mi, ze nastroje na prevod do ebook formatu existuji... takze by mozna stalo zato to aspon vyzkouset.
Uživatelský avatar
next_ghost
Návštěvník – nepatří k Pirátům
Příspěvky: 3239
Registrován: 21 dub 2009, 18:03
Profese: programátor
Dal poděkování: 1433 poděkování
Dostal poděkování: 5131 poděkování
Kontaktovat uživatele:

Re: Aktivismus v praxi: digitalizace knih

Příspěvek od next_ghost »

Zdenek Strnad píše:Dotaz: jaky bude mit to webovy rozhrani funkci? Jakoze se to bude editovat primo v tom?

Neslo by to delat tak, ze by se stanovil standardizovany format, a zacalo se na tom pracovat uz ted? Nejsem technik ani programator a muzu se mylit, ale zda se mi, ze nastroje na prevod do ebook formatu existuji... takze by mozna stalo zato to aspon vyzkouset.
Webové rozhraní bude vedle sebe mít obrázek naskenované stránky a editor textu, aby se daly snadno opravit chyby v OCR převodu a vložit základní formátovací značky. Samozřejmě můžeš začít pracovat na nějaké knížce i bez toho webu, prostě si najdi nějakou knížku, postahuj si k ní jednotlivé stránky a začni upravovat text. Ale bude to pěkná pakárna.

V úvodním příspěvku je odkaz na metadata knihy Svatý Xaverius a příklad jedné stránky v textové a obrázkové podobě. Seznam odkazů na data stránek je v metadatech, v sekci <mets:fileGrp USE="txt"> jsou texty převedené pomocí OCR (tedy plné chyb) a v sekci <mets:fileGrp USE="img"> jsou obrázky ve formátu DjVu. Bohužel ani zdaleka nestačí jen postahovat hotové texty, doplnit pár formátovacích značek a vydat hotovou knížku. Podívej se na příklady, kolik je potřeba ručních úprav a v jak těžko zpracovatelné podobě jsou ty texty uložené.

Chceš, aby organizace fungovala? Komunikuj!
Česká pirátská strana: Neškodná.

Uživatelský avatar
Zdenek.Strnad
Návštěvník – nepatří k Pirátům
Příspěvky: 480
Registrován: 08 črc 2012, 11:07
Profese: novinář, projektový manažer
Bydliště: Praha 10
Dal poděkování: 118 poděkování
Dostal poděkování: 783 poděkování

Re: Aktivismus v praxi: digitalizace knih

Příspěvek od Zdenek.Strnad »

Aha, takže bude nějaký rozhraní, ve kterým odpadne copypaste do texťáků, stahování jednotlivých souborů a jejich ukládání někam - prostě wikistyle crowd-editace a částečně automatizovaný export.

Máš pravdu, bude to daleko lepší tak, jak říkáš. Rád si počkám (fakt s kódováním neudělám nic), a pak se vrhnu do práce.
Tito uživatelé poděkovali autorovi Zdenek.Strnad za příspěvky (celkem 2):
next_ghost, Pavel.Moravec
Uživatelský avatar
Dominika.Michailidu
Republikové předsednictvo
Příspěvky: 3691
Registrován: 28 črc 2011, 22:13
Profese: výtvarník
Bydliště: Krnsko
Dal poděkování: 8302 poděkování
Dostal poděkování: 6372 poděkování

Re: Aktivismus v praxi: digitalizace knih

Příspěvek od Dominika.Michailidu »

bude to teda ve finále něco jako tohle? http://www.gutenberg.org/

Svobodný internet nedáme. Ale vemte si místo něj válku proti drogám.
Me gusta myšlenky Renesance Pirátů. web | forum | zulip

Uživatelský avatar
next_ghost
Návštěvník – nepatří k Pirátům
Příspěvky: 3239
Registrován: 21 dub 2009, 18:03
Profese: programátor
Dal poděkování: 1433 poděkování
Dostal poděkování: 5131 poděkování
Kontaktovat uživatele:

Re: Aktivismus v praxi: digitalizace knih

Příspěvek od next_ghost »

Dominika Michailidu píše:bude to teda ve finále něco jako tohle? http://www.gutenberg.org/
Základní katalog knížek bude fungovat podobně, ale nejdůležitější bude rozhraní pro editaci obsahu knížek. Gutenberg není komunitní projekt, takže takové rozhraní nemá.
Tito uživatelé poděkovali autorovi next_ghost za příspěvek:
Dominika.Michailidu

Chceš, aby organizace fungovala? Komunikuj!
Česká pirátská strana: Neškodná.

Odpovědět

Zpět na „Vnitrostranická diskuse“