ČTÚ - Geografický sběr dat

[ludvik]

http://vdp.cuzk.cz/

takže dle vás xml neexituje? škoda mě se s tím xml celkem dobře dělalo (parsovalo)

auby: jo ... jenže když máš celý okres i s kusem vedlejšího, tak je to na***. Ty CSV jsou asi nakonec lepší.

[okoun]

ok, tak zde se dá vygenerovat zabalené xml http://vdp.cuzk.cz/vdp/ruian/vymennyformat/vyhledej

[ludvik]

Že jsem se na to nevykašlal.

V záznamech mám samozřejmě jen údaje Ulice, čp, psč a město. Jak to dokážete párovat na RÚIAN? Ono to totiž není jednoznačné.

Např. mám obec Církvice. V číselníku jsou dvě. Kódy 599476 a 533998. První obsahuje jen jednu Část obce s názvem Církvice a druhá také jen jednu s názvem Jakub. Přitom je to jedna obec. Evidovaná jako dvě obce. A v tu ránu jsem pěkně v čudu, protože jsem nikdy neměl potřebu někam zapisovat části obcí ... O nich ani nevím, zda je podmínka jednoznačnosti v rámci státu. Když prokazatelně není ani v názvech obcí (např. Popůvky).
Přitom je podmínka, že ulice jednoznačné v rámci obce jsou ... ale dát si do kupy obec-část-ulice je v podstatě nad mé síly. Místo elegantního SQL abych vymýšlel AI.

Edit: beru zpět. Jsou to dvě různé obce. Ale na složitosti zpracování to zase tolik nemění.

[svestka]

Že jsem se na to nevykašlal.

V záznamech mám samozřejmě jen údaje Ulice, čp, psč a město. Jak to dokážete párovat na RÚIAN? Ono to totiž není jednoznačné.

Např. mám obec Církvice. V číselníku jsou dvě. Kódy 599476 a 533998. První obsahuje jen jednu Část obce s názvem Církvice a druhá také jen jednu s názvem Jakub. Přitom je to jedna obec. Evidovaná jako dvě obce. A v tu ránu jsem pěkně v čudu, protože jsem nikdy neměl potřebu někam zapisovat části obcí ... O nich ani nevím, zda je podmínka jednoznačnosti v rámci státu. Když prokazatelně není ani v názvech obcí (např. Popůvky).
Přitom je podmínka, že ulice jednoznačné v rámci obce jsou ... ale dát si do kupy obec-část-ulice je v podstatě nad mé síly. Místo elegantního SQL abych vymýšlel AI.

Osobně si počkám s čím přijde ISPA v Přerově. Pevně doufám, že to bude nějaké API napojené na DB, kde se mi podaří automaticky to spárovat třeba v 90% případů, to co zbude jako nejednoznačné holt bude ruční práce.

[kraljan]

Že jsem se na to nevykašlal.

V záznamech mám samozřejmě jen údaje Ulice, čp, psč a město. Jak to dokážete párovat na RÚIAN? Ono to totiž není jednoznačné.

Např. mám obec Církvice. V číselníku jsou dvě. Kódy 599476 a 533998. První obsahuje jen jednu Část obce s názvem Církvice a druhá také jen jednu s názvem Jakub. Přitom je to jedna obec. Evidovaná jako dvě obce. A v tu ránu jsem pěkně v čudu, protože jsem nikdy neměl potřebu někam zapisovat části obcí ... O nich ani nevím, zda je podmínka jednoznačnosti v rámci státu. Když prokazatelně není ani v názvech obcí (např. Popůvky).
Přitom je podmínka, že ulice jednoznačné v rámci obce jsou ... ale dát si do kupy obec-část-ulice je v podstatě nad mé síly. Místo elegantního SQL abych vymýšlel AI.

Edit: beru zpět. Jsou to dvě různé obce. Ale na složitosti zpracování to zase tolik nemění.

Téměř vždy stačí PSČ, Obec, Ulice a číslo popisné. Takže není zásadně nutné evidovat část obce. Ale jsou i případy, kdy se nachází jedna ulice ve stejné obci přes dvě části obce a v každé části obce tak může být stejné číslo popisné. Ale vzhledem k tomu, čemu ty podkladová data mají sloužit, tak to nemá zásadní význam, že to nebude 100%.

[kraljan]

Osobně si počkám s čím přijde ISPA v Přerově. Pevně doufám, že to bude nějaké API napojené na DB, kde se mi podaří automaticky to spárovat třeba v 90% případů, to co zbude jako nejednoznačné holt bude ruční práce.

Jestli nevalidujete adresy při zadávání, tak je očekávání pouhých 10% chyb při automatickém párování hodně optimistické. I z důvodu potřeby validace adresy už při zadávání do DB si myslím, že by každý měl zvážit naplnění si své vlastní DB adresných míst ve svém okolí (když už ne za celou republiku). Data Ruianu jsou zdarma v podstatě jen za cenu vlastního zpracování.
Jestli ať ISPA nebo někdo jiný nabídne standalone aplikaci s daty Ruianu na Vašem PC, které strčíte data a vrátí jako výsledek ID adresy Ruianu, tak proč ne, ale kdyby to měla být nějaká online záležitost, které přes nějaké API předáte data o adresách, tak bych byl hodně opatrný, ať už byl poskytovatel takovéhoto řešení kdokoliv.

[ludvik]

Téměř vždy stačí PSČ, Obec, Ulice a číslo popisné.

Jenže PSČ je v té validaci další proměnná, která je ve spoustě případů špatně. Zvlášť u menších obcí, kde lidi uvádí (a ono to i funguje) třeba několik různých PSČ, v závislosti na historických událostech, datu narození a možná i postavení planet v době křtu.

To je fuk. Prostě se to musí přežít a validovat při pořizování. Je to sice víc práce (napsat to je rychlejší, než výběr z číselníků), ale ta správnost za to možná nakonec stojí.

[zubodravec]

My, tedy neuron, mame databazi i s UIAN stazenou do naseho systemu a pouzivame ji pro napovidani navstevnikum zda na lokalite je optika nebo wifi nebo DSL.
Kdyz rozsirime sit o dalsi dum/panelak, tak ho pridam do DB , a vyhledavac zmeni vysledek vyhledavani pro navstevnika webu, z ADSl uz je najedou na adrese dostupna optika.
Pred tydnem jsem zadal dodelat filtra aby mi sdelil pocet pripojenych lidi na dane adrese pro potreby marketingu a ted sem nastudvola ze to same chce i CTU. Tedy provedeme export ve formatu jako pozaduje CTU. Na podobnem systemu pracoval minuly rok Svarc nez to ukoncil. nekdo to hodl bude mit tezky vyplnit dotaznik, nekdo naopak velice jednoduche. Takhle vypada v realu zdroj z ktereho se exportuje, treba to nekomu pomuze jakym smerem se vydat https://goo.gl/qMy1uE

[kraljan]

Téměř vždy stačí PSČ, Obec, Ulice a číslo popisné.

Jenže PSČ je v té validaci další proměnná, která je ve spoustě případů špatně. Zvlášť u menších obcí, kde lidi uvádí (a ono to i funguje) třeba několik různých PSČ, v závislosti na historických událostech, datu narození a možná i postavení planet v době křtu.

To je fuk. Prostě se to musí přežít a validovat při pořizování. Je to sice víc práce (napsat to je rychlejší, než výběr z číselníků), ale ta správnost za to možná nakonec stojí.

To jak to píšeš by mohl někdo pochopit že v Ruianu je PSČ špatně. V Ruian je totiž každá adresa správně a to včetně PSČ. Chtělo by to uvést na pravou míru s tím, že špatně to má vyplněné skoro každý kdo adresu nevaliduje. PSČ totiž málokdo ze zákazníků tuší jaké přesně má. Dost chyb se pak udělá v zadávání části obce jako název obce, případně jako název obce zadávají lidé název doručovací pošty a podobné zhovadilosti. A to už vůbec nezmiňuji názvy ulic se zkratkami kde jsou pak špatně uvedené zkratky kde nemají být, případně chybí nebo přebývají mezery apod.
Proto i moje poznámka že očekávání 10% chyb je hodně optimistické. Můj odhad je, že plné automatické spárování bude tak maximálně do 50% a když někdo bez předchozí validace tuto hodnotu přesáhne, tak bude moct být jedině rád. Přesto ten zbytek adres pro ČTÚ stejně obětuje, protože pochybuji, že by to doplňoval ručně. A opravit databázi adres zákazníků je na docela dlouhou dobu. A bez opravy bude příště ve stejném stavu jako je dnes.

[ludvik]

Mluvím o validaci mých dat. A také mluvím o lidech. Ono pokud to nenaleznu v RUIAN podle ostatních údajů, je mi už PSČ pro automatiku vcelku k ničemu, protože to je stejně zralé na ruční zásah. Víc obcí/částí má shodné PSČ.

Ale těžko říct, jestli se dá opravdu bezmezně věřit státnímu registru ... Změny tam zanáší úředníček. Někdy starosta. Bůhví, jak často to dělá a jakou pečlivost mu lze přiznat. Něčemu ovšem věřit musíme a naše interní údaje to určitě vylepší. Otázkou je, jestli bychom to potřebovali i bez toho, aby to vyžadoval po nás (resp. po vás) stát. Veškeré nepřesnosti jsou spíš drobné překlepy a nikdy to nemělo vliv na nic. Ani na poštu, ta si s lecsčím poradí. Kromě toho dopis jsme posílali naposledy snad před pěti lety.

[Striker]

Nenašel jsem to tady, je to ten formulář od ČTÚ do půlky března ART152?

[ludvik]

U mě to vyšlo na 40% chybovost Z něco málo přes 3 tisíce adres. I když většina toho je typu chybějící číslo orientační, případně to neodpovídá vyhlášce (zkratku "č.p." tam kde má být ulice totiž nikdo nemá rád). Těžké chyby vyčíslit nedokážu.

... Proto i moje poznámka že očekávání 10% chyb je hodně optimistické. Můj odhad je, že plné automatické spárování bude tak maximálně do 50% a když někdo bez předchozí validace tuto hodnotu přesáhne, tak bude moct být jedině rád.

[JirkaK]

Máte někdo k dispozici nástroj, který z CSVčka ve kterém je adresa (obec, ulice, čp, čo) vygeneruje CSVčko kde bude přidán RÚIAN?

JK

[okoun]

bohužel ted na to nemám čas, ale v únoru to budu řešit v PHP, je to otázka chvilky to napsat, takže až to budu mít kliedně to sem dám...

[melvi]

Automatická validace je ok, u mne chybovost 10%.

kdo má zájem, napište do PM, pošlu skript a jak na to.