Metriky

Společné fórum Technického odboru, Personálního Odboru a Administrativního odboru pro řešení a diskuzi nad tvorbou nových technických systémů

Moderátoři: Odbor - personalni, Odbor - technicky

Ales.Krupa
Finanční tým
Příspěvky: 20
Registrován: 16 pro 2018, 16:53
Profese: ekonom
Dostal poděkování: 42 poděkování

Re: Metriky

Příspěvek od Ales.Krupa » 18 črc 2019, 11:21

Ahoj,

to jsem netušil, jak se s jednou metrikou rozpoutá bouřlivá diskuze..

Jarmila jsem o zpracování metriky poprosil já. Pokudím se vysvětlit proč:

Loni byla schválená Pirátská strategie, která mimo jiné definuje hlavní úkoly centrálních orgánů a mezi nimi odborů a kanceláře. Pro každý orgán byly navrženy a odsouhlaseny metriky, které RP čtvrtletně prezentuje na jednání RV. Zatím byly metriky vyhodnocovány spíš popisem a manuálně a proto RP rozhodlo, že máme každý zkusit vybrat jednu dvě měřitelné metriky a zautomatizovat jejich měření.

Začal jsem u sebe (kanceláře) a vybral si asi jedinou, která se dá nějak měřit: "Snížit průměrnou dobu vyřízení žádosti o proplacení na straně kanceláře – měsíčně"
Pojali jsem to jako pilotní projekt a výstupem je to, co prezentoval Jarmil, tedy graf, který ukazuje průměrnou dobu mezi posledním schválením žádosti hospodářem a jejím vyexportováním do banky.

Teď k jednotlivým námitkám:
- ano, vím, že jsou v tom pracovní a volné dny. Jde o první vědomě úplně jednoduchou verzi, kterou chci nejdřív vyzkoušet a vidět data, která z ní padají. Pak jí podle potřeby a dalších požadavků zdokonalíme
- ano, dobře vím, že existují žádosti, které nemůžou být proplaceny kvůli chybám na straně podavatele nebo hospodáře. A je na nás o takovém případném výkyvu a jeho důvodu vědět a být schopni ho vysvětlit.
- ano, současná doba proplácení je krátká a není cílem jí dál zkracovat. Metriky vznikaly v době, kdy se proplácelo s velkým zpožděním. Lidi neuměli se systémem pracovat, bylo víc proplácečů, spousty účtů apod. To se díy Lucii změnilo a dneska stabilně proplácíme v krátkém termínu a navíc se všechny sporné věci průběžně řeší s podvateli a hospodáři. Pokud v Piroplácení visí neschválené nebo rozpracované žádosti, průběžně uháníme jak podavatele, tak hospodáře.
- metriky neslouží ke kontrole, zda Lucie proplácí včas. K tomu mi stačí průběžně se dívat do Piroplácení, kde vidím hned, jaký je stav a můžu jít i do detailů, proč. Tahle metrika slouží zkrátka a dobře jen pro tu prezentaci na RV, kde by měla ideálně poskytnout grafickou představu o tom, že se doba proplacení schválené žádosti pohybuje stále ve stejném rozmezí a nedochází k, byť třeba nárazovému, prodlužování lhůt. A navíc mám za to odpovědnost já, takže maximálně může sloužit ke kontrole mě samého :-)
- metriky sledující dobu mezi předáním hospodáři a schválením hospodářem mohou pochopitelně být, musely by se asi udělat po jednotlivých hospodářích, aby to dalo nějakou představu.

Tak já nevím, jestli jsem se vyjádřil ke všem námitkám, snad ano. Berte tedy prosím tuhle metriku jako mou snahu naplnit požadavky, dané Pirátskou strategií. Jako první krok, který má své nedokonalosti, kterých jsem si vědom.

A díky Jarmilovi, že mi to tak rychle a ochotně dodal. A díky Lucii, že to teď funguje tak dobře, jak to funguje. Snad si toho kromě mě všimli i ostatní...

Mějte se fajn,
Aleš
Tito uživatelé poděkovali autorovi Ales.Krupa za příspěvky (celkem 6):
Vit.Jurasek, Martin.Stanek, Lucie.Spacilova, Jan.Hora, Vojtech.Pikal, Jarmil

Uživatelský avatar
Jarmil
Příznivec Pirátů – Praha
Příspěvky: 183
Registrován: 18 kvě 2018, 10:24
Profese: programátor
Dal poděkování: 116 poděkování
Dostal poděkování: 294 poděkování
Kontaktovat uživatele:

Re: Metriky

Příspěvek od Jarmil » 21 črc 2019, 13:39

Martin.Kucera píše:
17 črc 2019, 13:38
Jarmil píše:
15 črc 2019, 11:08
- doplněny metriky kanceláře Pirátské strany: měříme průměrné stáří a počet žádostí o proplácení ve stavu "Schváleno hospodářem" - účelem je, aby se tato hodnota co nejvíce snižovala, tj. žádosti vyřizovaly rychleji. dnes to btw bylo 2.57 dne.
A zohledňujete tam pracovní dny? Protože žádost schválená v pátek v 15 hodin a proplacena v pondělí v 9 obnáší 2,75 kalendářního dne, ale reálně odstup max 4 pracovní hodiny.
díky za postřeh; nezohledňujeme, je to v pracovních dnech a nikoliv kalendářních.
zohledňovat pracovní dny je trochu komplikované, vzhledem k existenci svátků včetně plovoucích jako jsou velikonoce (jinými slovy: nechce se mi s tím teď patlat :) ) . tudíž to bude vždy po víkendu naskakovat o 2 dny.
také tam je druhá nepřesnost vyplývající z logiky: když klesl počet žádostí na 2, zvýšila se prudce průměrná doba - zjevně zůstaly viset pouze starší žádosti, se kterými (asi) budou nějaké problémy.

suma: je třeba to brát jako orientační hodnotu, a také přihlížet k druhé metrice PP_APPROVED_COUNT, které společně poskytnou plastičtější obrázek.

pro Lucku a kohokoliv, kdo je Metrikami měřen: nevnímejte to prosím jako osobní útok :)
holt je třeba aspoň nějakým měřením začít a pak případně přidat další metriky, stanovit intrepretaci nebo to prostě poopravit dle potřeby - k čemuž slouží toto vlákno.
do budoucna přímo ke každé metrice plánuji přidat sekci diskuzní nebo komentářovou (nebo by byl lepší odkaz na vlákno fóra?), aby se mohla "vydiskutovat" správná interpretace - je vidět že to nebude vždy jednoznačné.
Face your fears, live your dreams.

Uživatelský avatar
Jarmil
Příznivec Pirátů – Praha
Příspěvky: 183
Registrován: 18 kvě 2018, 10:24
Profese: programátor
Dal poděkování: 116 poděkování
Dostal poděkování: 294 poděkování
Kontaktovat uživatele:

Re: Metriky

Příspěvek od Jarmil » 21 črc 2019, 13:59

Trochu jsem na tom zase popracoval a zde jsou novinky:
Vojtech.Pikal píše:
14 črc 2019, 13:37
Seznam registrovaných příznivců je zde, počet vpravo dole: memberlist.php?mode=group&g=74
Hotovo, metrika PI_REGP_COUNT. Počítá se pouze celkový počet příznivců, po krajích apod to momentálně nejde, jelikož někteří (jako třeba já) jsou RegP ve více skupinách.
Vojtech.Pikal píše:
14 črc 2019, 13:37
Suma členských příspěvků je teoreticky zde: https://piroplaceni.pirati.cz/banka/ucet/29/
Suma darů - všechny dary musejí jít ze zákona přes tento účet : https://piroplaceni.pirati.cz/banka/ucet/2/ Pozor, padají tam i státní příspěvky.
Tyto dvě hned tak nebudou, špatně se to z té stránky dostává web scrappingem. Potřebuji k tomu úpravu na straně Piroplacení - export účtu - kterou jsem sice naprogramoval na čísi požadavek už před pěti měsíci, ale její zprovoznění od té doby visí na TO. No comment...
Pokud si to tam popoženeš, bude to dřív :)

Také jsem odstranil odkazy na web pirati.cz a logo Pirátské strany: protože provoz Metrik momentálně platím kompletně ze svého, nechci se dostat do situace, že za to budu ještě navíc obviněn ze zneužití loga. Nechal jsem tam jen "péčko", které snad nikomu vadit nebude.

Poslední významná úprava je v souvislosti s ověřitelností dat: u všech záznamů se nyní ukládá metoda získání: z jaké adresy, jakým způsobem byl získán. Tato informace je uživateli dostupná v CSV datech (ke stažení na stránce detailu metriky). To je důležitý krok směrem k tomu, aby data z Metrik byla časem použitelná i pro potřeby novinářů a jiných 3rd parties.
Tito uživatelé poděkovali autorovi Jarmil za příspěvky (celkem 3):
Martin.Stanek, Vojtech.Pikal, Vit.Jurasek
Face your fears, live your dreams.

Uživatelský avatar
Jarmil
Příznivec Pirátů – Praha
Příspěvky: 183
Registrován: 18 kvě 2018, 10:24
Profese: programátor
Dal poděkování: 116 poděkování
Dostal poděkování: 294 poděkování
Kontaktovat uživatele:

Re: Metriky

Příspěvek od Jarmil » 21 črc 2019, 14:33

děkuji těm, co se mne zastali, a aby se z tohoto pracovního vlákna nestal prosto pro flamewars, uvedu pár základních věcí; pak už budu reagovat jen na věcné příspěvky.

- na metrikách pracuji sám, zhruba od loňského srpna. Jsem dobrovolník, dělám to bez haléře odměny.
- navíc celý provoz Metrik platím ze své kapsy. Současného šéfa TO Martina Rejmana jsem několikrát prosil o to, aby mi technický odbor aspoň poskytl databázi (náklad pro piráty pár halířů). Bezvýsledně.

až ve chvíli, kdy se o Metriky začne zajímat Jakub Michálek z předsednictva, mi najednou Martin Rejman, který na nich do té doby nehnul ani prstem, začne nařizovat, k čemu se smím nebo nesmím vyjadřovat, začne mne obviňovat mne z toho, že ve skutečnosti Pirátské straně nehodlám pomoct, začne kritizovat, aniž by nabídl jedinou pozitivní alternativu, začne mi dokonce podhazovat úmysly poškodit Piráty.

srovnejte tohle s pirátskými zásadami: předpokládej dobrou vůli, místo kritiky nabídni lepší řešení, nezakazuj ostatním něco dělat, dobrovolníci jsou důležití, atd atd.

nemám opravdu náladu bojovat s pirátskými byrokraty.
na Metrikách budu pracovat dál, ale současnému vedení TO se raději obloukem vyhnu. Raději budu platit nadále provoz ze svého, než abych ztrácel čas a energii těmito nesmysly.
pokud se najde místní sdružení, které má v rozpočtu pár korun navíc a chtělo by se stát provozovatelem Metrik, nechť se mi ozve, určitě se domluvíme.

howgh. příště už jen věcně: na konec července chystám další update s novými funkcemi :)
Face your fears, live your dreams.

Uživatelský avatar
Martin.Rejman
Člen KS Liberecký kraj
Příspěvky: 467
Registrován: 29 říj 2013, 15:08
Profese: magician
Bydliště: Jablonec nad Nisou
Dal poděkování: 335 poděkování
Dostal poděkování: 1051 poděkování

Re: Metriky

Příspěvek od Martin.Rejman » 21 črc 2019, 23:23

Jarmil píše:
21 črc 2019, 14:33
srovnejte tohle s pirátskými zásadami: předpokládej dobrou vůli, místo kritiky nabídni lepší řešení, nezakazuj ostatním něco dělat, dobrovolníci jsou důležití, atd atd.
Zbývá jediná reakce ... i Ty bys měl u mě, Jarmile, předpokládat dobrou vůli, neboť tak to ve skutečnosti je. I když, co je skutečnost ... ?

Uživatelský avatar
Martin.Kucera
Vedoucí administrativního odboru
Příspěvky: 13754
Registrován: 23 dub 2009, 16:41
Profese: nakladatel
Dal poděkování: 2158 poděkování
Dostal poděkování: 20643 poděkování

Re: Metriky

Příspěvek od Martin.Kucera » 22 črc 2019, 22:13

Ach jo, nečekal jsem takové hádání i tady.
Měřit z veřejných dat může samozřejmě kdo chce co chce a nelze mu to nijak zakazovat.
Jenže když se tu objeví "měříme průměrné stáří a počet žádostí o proplácení ve stavu "Schváleno hospodářem" - účelem je, aby se tato hodnota co nejvíce snižovala, tj. žádosti vyřizovaly rychleji. dnes to btw bylo 2.57 dne", tak to opravdu vyznívá jako kritika rychlosti vyřizování schválených žádostí o proplacení a jako naznačování, že 2.57 dne je nějaké strašlivě vysoké číslo. Navíc když jsou do té doby započítávány i víkendy (v nichž samozřejmě nelze proplácení požadovat), takže u každé žádosti schválené hospodářem v pátek odpoledne a neproplacené týž den to bude v pondělí ráno (přičemž ona věta byla napsána právě v pondělí ráno) znamenat dobu 2.5 dne.
Tj. jedna věc je něco měřit, druhá věc je že výstupy měření by měly být doplněny o dostatečný popis toho, co se měří a jak se to měří, aby se zmenšilo riziko dezinterpretace.
Jarmil píše:
21 črc 2019, 14:33
Současného šéfa TO Martina Rejmana jsem několikrát prosil o to, aby mi technický odbor aspoň poskytl databázi (náklad pro piráty pár halířů). Bezvýsledně.
Jako že kód by běžel někde u tebe a pracoval by s databází běžíci na pirátském serveru? Čistě laicky mě napadá, jestli by v tom nemohl být třeba nějaký bezpečnostní zádrhel.
Tito uživatelé poděkovali autorovi Martin.Kucera za příspěvek:
Vojtech.Pikal
tel.: +420 778 702 711; (NEPIŠTE MI NA FACEBOOKU, TÉMĚŘ TAM NECHODÍM)
Jak jednoduchý by byl svět, kdybychom četli a dělali věci hned správně. :) -- Lucie Spáčilová

Uživatelský avatar
Jarmil
Příznivec Pirátů – Praha
Příspěvky: 183
Registrován: 18 kvě 2018, 10:24
Profese: programátor
Dal poděkování: 116 poděkování
Dostal poděkování: 294 poděkování
Kontaktovat uživatele:

Re: Metriky

Příspěvek od Jarmil » 29 črc 2019, 07:55

Martin.Kucera píše:
22 črc 2019, 22:13
...Jenže když se tu objeví "měříme průměrné stáří a počet žádostí o proplácení ve stavu "Schváleno hospodářem" - účelem je, aby se tato hodnota co nejvíce snižovala, tj. žádosti vyřizovaly rychleji. dnes to btw bylo 2.57 dne", tak to opravdu vyznívá jako kritika rychlosti vyřizování schválených žádostí o proplacení a jako naznačování, že 2.57 dne je nějaké strašlivě vysoké číslo. Navíc když jsou do té doby započítávány i víkendy (v nichž samozřejmě nelze proplácení požadovat), takže u každé žádosti schválené hospodářem v pátek odpoledne a neproplacené týž den to bude v pondělí ráno (přičemž ona věta byla napsána právě v pondělí ráno) znamenat dobu 2.5 dne.
Tj. jedna věc je něco měřit, druhá věc je že výstupy měření by měly být doplněny o dostatečný popis toho, co se měří a jak se to měří, aby se zmenšilo riziko dezinterpretace...
vyznělo to tak? tak to se omlouvám. jako kritiku jsem to nemyslel.
naprosto souhlasím, že popis by tam měl být: chtěl jsem původně tu "interpretaci" napsat přímo do detailu dané metriky, jenže to by byla interpretace moje, tedy subjektivní a nepřesná.
proto mi přijde lepší ke každé metrice připojit diskuzi, ale: zakládat pro každou metriku zvlášť vlákno ve fóru je asi blbost, připojit pod to plugin s facebook diskuzí zase nejde kvůli lidem, co na FB nejsou, takže zatím nevím jak. jestli tě něco napadne, budu rád a dodám to tam :)
Martin.Kucera píše:
22 črc 2019, 22:13
...Jako že kód by běžel někde u tebe a pracoval by s databází běžíci na pirátském serveru? Čistě laicky mě napadá, jestli by v tom nemohl být třeba nějaký bezpečnostní zádrhel...
neměl by být, to že je DB na jiném serveru než obsluhující kód se používá často. ostatně aktuálně databáze metrik běží na cizím serveru (komerční služba), kde si ji platím a zatím jsem jim server nezboural :)
jediné bezpečnostní riziko co mne tak napadá by bylo při hoooodně mizerně nakonfigurované databázi, že bych dokázal externími dotazy přeplnit disk, nebo využít nějaké přetečení ke vsunutí škodlivého kódu: to zas vyžaduje děravý databázový software a slušné hacking skills (Krtek by to patrně dal, já ne :) )
podle Andreje už je ale server pro metriky "na cestě", takže toto issue odpadne samo.
Tito uživatelé poděkovali autorovi Jarmil za příspěvek:
Martin.Stanek
Face your fears, live your dreams.

Uživatelský avatar
Andrej.Ramaseuski
Republikový výbor
Příspěvky: 2073
Registrován: 28 srp 2016, 20:49
Profese: programátor
Bydliště: Sedlíšťka (Radhošť)
Dal poděkování: 1517 poděkování
Dostal poděkování: 2347 poděkování
Kontaktovat uživatele:

Re: Metriky

Příspěvek od Andrej.Ramaseuski » 29 črc 2019, 10:30

Martin.Kucera píše:
22 črc 2019, 22:13
Jarmil píše:
21 črc 2019, 14:33
Současného šéfa TO Martina Rejmana jsem několikrát prosil o to, aby mi technický odbor aspoň poskytl databázi (náklad pro piráty pár halířů). Bezvýsledně.
Jako že kód by běžel někde u tebe a pracoval by s databází běžíci na pirátském serveru? Čistě laicky mě napadá, jestli by v tom nemohl být třeba nějaký bezpečnostní zádrhel.
bezpecnostni zadrhel byt muze, ale nemusi. pro bezpecnost data a jedne konkretni databazi staci sifrovane spojeni a accesslisty na databazovem stroji. nicmene, otevirat na databazovem serveru, ktery ma hodne citlivych dat nejake porty ven je samostatnym rizikem, vzhledem k moznym (zatim neznamym) zranitelnostem database engine. i kdyby to byla potencialni riziko DoS utoku - nevidim duvod davat k nemu prilezitost.
Tito uživatelé poděkovali autorovi Andrej.Ramaseuski za příspěvek:
Stanislav.Stipl

Uživatelský avatar
Andrej.Ramaseuski
Republikový výbor
Příspěvky: 2073
Registrován: 28 srp 2016, 20:49
Profese: programátor
Bydliště: Sedlíšťka (Radhošť)
Dal poděkování: 1517 poděkování
Dostal poděkování: 2347 poděkování
Kontaktovat uživatele:

Re: Metriky

Příspěvek od Andrej.Ramaseuski » 29 črc 2019, 10:38

Jarmil píše:
29 črc 2019, 07:55
Martin.Kucera píše:
22 črc 2019, 22:13
...Jako že kód by běžel někde u tebe a pracoval by s databází běžíci na pirátském serveru? Čistě laicky mě napadá, jestli by v tom nemohl být třeba nějaký bezpečnostní zádrhel...
neměl by být, to že je DB na jiném serveru než obsluhující kód se používá často. ostatně aktuálně databáze metrik běží na cizím serveru (komerční služba), kde si ji platím a zatím jsem jim server nezboural :)
jediné bezpečnostní riziko co mne tak napadá by bylo při hoooodně mizerně nakonfigurované databázi, že bych dokázal externími dotazy přeplnit disk, nebo využít nějaké přetečení ke vsunutí škodlivého kódu: to zas vyžaduje děravý databázový software a slušné hacking skills (Krtek by to patrně dal, já ne :) )
podle Andreje už je ale server pro metriky "na cestě", takže toto issue odpadne samo.
database pristupna pres internet ma dva problemy - samozrejme musi se pocitat s horsi latenci, ale to neni tak strasne, a druhe - potenciani (nezname) zranitelnosti databaze engine. sice vime ze postgresql je spolehlivy a bezpecny sql server, ale jeste pred par lety jsem si myslel, ze intel je bezpecny a spolehlivy procesor, a z jedneho virtualniho serveru se neda cist obsah pameti druheho :) takze dobrou praxi, krome samozrejme kryptografie a spravne nastavenych pristupovych prav k databazi, je omezeni pristupu k enginu nejen z internetu, ale i ze serveru ve stejne LAN ktere s databazi nepracujui (i kdyz jsou to duveryhodne servery pod nasi spravou).
Tito uživatelé poděkovali autorovi Andrej.Ramaseuski za příspěvky (celkem 2):
Jarmil, Stanislav.Stipl

Uživatelský avatar
Jarmil
Příznivec Pirátů – Praha
Příspěvky: 183
Registrován: 18 kvě 2018, 10:24
Profese: programátor
Dal poděkování: 116 poděkování
Dostal poděkování: 294 poděkování
Kontaktovat uživatele:

Re: Metriky

Příspěvek od Jarmil » 29 črc 2019, 12:19

Vojtech.Pikal píše:
17 črc 2019, 13:40
Ocenil bych i metriku od zadání žádosti po její schválení hospodářem, bo to ukazuje, jestli jsou úzká hrdla na jiné straně než v kanceláři.
hotovo, jsou to dvě nové metriky žádostí o proplacení ve stavu "Ke schválení hospodářem", počítáno od data poslední úpravy žádosti - je to zhruba to cos chtěl?
konkrétně: PP_TOAPPROVE_COUNT (aktuálně 22 žádostí) a PP_TOAPPROVE_AGE (aktuálně 68 kalendářních dní)
tedy imho nějaká úzká hrdla by se našla ;)
a jako obvykle: je to čerstvá statistika, ergo nějaký graf vývoje bude mít smysl až za týden - dva
Face your fears, live your dreams.

Odpovědět

Zpět na „Technické systémy“

Kdo je online

Uživatelé prohlížející si toto fórum: Žádní registrovaní uživatelé a 0 hostů