Automatické získávání dat z webové stránky

Online komunikátory, VoIP, webové prohlížeče, e-mailové klienty

Moderátor: Moderátoři Živě.cz

Odeslat příspěvekod hape. 10. 2. 2024 18:07

Zdravím vespolek,
potřeboval bych automaticky získávat data z jedné webové stránky.
Mám měřící zařízení, které posílá data prostřednictvím internetového modulu na server provozovaný výrobcem toho zařízení. Na serveru mám účet, ve kterém po přihlášení můžu na webové stránce vidět aktuální data zaslaná na server. Data nejsou nijak uchovávána, ani poskytována ke stažení. Já bych potřeboval ta data získávat (např. v intervalu cca 1 - 5 min.) abych si z nich mohl udělat třeba grafy, nebo je porovnávat když udělám nějakou změnu na zařízení na kterém jsou data měřena.
Našel jsem nějaké programy, které umějí data z webové stránky získat, ale ty vyžadují znalost psaní kódu webových stránek a to já neumím. Pak jsou nějaké on-line služby, kde to člověk znát asi nemusí, ale ty jsou (jestli jsem to správně pochopil) omezené počtem čtení dat ze stránky.
Nemáte někdo tip na program, který by byl jednoduchý na použití a bez nutnosti znát psaní kódu webových stránek?
hape.
Junior

Odeslat příspěvekod JirkaVejrazka 10. 2. 2024 19:35

"Nemáte někdo tip na program, který by byl jednoduchý na použití a bez nutnosti znát psaní kódu webových stránek?" - to tezko najdes. Tohle je bohuzel problem, ktery se musi resit pro kazdou stranku jinak, podle toho jak autor stranky "poskladal" na stranku jednotlive casti.

Idealni by bylo, kdyby vyrobce zarizeni poskytoval nejake API, coz je rozhrani pro urcene pro komunikaci "mezi programy".

Ale protoze jsi ani nenapsal o jake zarizeni jde, tezko zjistovat jestli muze mit API.
JirkaVejrazka
Mírně pokročilý

Odeslat příspěvekod Da Gony 10. 2. 2024 20:49

dobrý by bylo na to pouužít umělou inteligenci,,,, jestli to bude umět si s tím poradit
něco jako napiš mi skript na automatické stažení dat, výsledek má vypadat takto, ukládat inkrementálně do csv souboru, před použitím je potřeba zkontrolovat, zda je autentizováno tímto postupem, stav autentizace vypadá takhle...

umí AI se programaticky připojit na net? jaký je nyní obsah stránky domena.cz/api/kurz/CZ-EU/json
Da Gony
Junior
Uživatelský avatar

Odeslat příspěvekod meda2016 11. 2. 2024 10:01

ad Ai - na to většinou dostaneš odpověď "vyhledej podporu provozovatele webu".
meda2016
Pokročilý

Odeslat příspěvekod hape. 11. 2. 2024 11:26

JirkaVejrazka píše:...Ale protoze jsi ani nenapsal o jake zarizeni jde, tezko zjistovat jestli muze mit API.

Jde mi o získávání dat z webu Brager Connect. Data posílá analyzátor spalin Brager BCA-02 prostřednictvím modulu Brager Media Bord 200.
Analyzátor sice má datový a odporový výstup, ale s datovým výstupem si neporadím (navíc bych přišel o možnost data zasílat do Brager Connect) a přes odporový sděluje jenom obsah kyslíku.
Až nyní jsem si všiml, že u modulu Media Bord 200 je zmínka o přídavné paměťové kartě pro záznam provozu v případě nedostupnosti internetového připojení. Můj modul ale žádnou možnost vložení paměťové karty nenabízí a na webu Brageru jsem nic podrobnějšího ohledně toho nenašel. Tak jsem jim zaslal dotaz jestli je možné nějakým způsobem data ukládat pro další zpracování. Uvidím co mi odpoví.
Ještě přikládám snímek obrazovky jak vypadá stránka (po přihlášení do účtu), ze které bych chtěl získávat data (některá).
Přílohy
BragerConnect_02.jpg
hape.
Junior

Odeslat příspěvekod JirkaVejrazka 11. 2. 2024 15:25

To vypada podobne jako cesky Energomonitor, i kdyz ten nedela kotle, pokud vim.

Kazdopadne API jsem nenasel a v navodu take nic zajimaveho neni. Pokud se ti neozvou ze nabizeji nejaky export, tak asi nezbude nez bud nekoho zaplatit, nebo najit nekoho ochotneho kdo to udela za flasku nebo velkou cokoladu.

Technicky to neni velky problem, ale musi to nekde bezet, coz stoji penize. A jestli planujes data stahovat kazdych par minut, tak je docela mozne ze to to zatrhne provozovatel toho webu.

Bohuzel, lepsi zpravy nemam.
JirkaVejrazka
Mírně pokročilý

Odeslat příspěvekod Emil Pastelka 11. 2. 2024 16:22

Díval jsem se na demo a zařízení umí nastavit emailové notifikace - žel demo neukáže jaké. To by byla cesta.
Emil Pastelka
Junior
Uživatelský avatar

Odeslat příspěvekod meda2016 11. 2. 2024 18:37

Vzhledem k tomu, že jsou tam i alarmy, ty notifikace budou zřejmě to.

Určitým řešením je odchytávat komunikaci na aktivním prvku, ale je potřeba znát kódování. A pořád je to něčí práce, takže žádné snadné řešení.
meda2016
Pokročilý

Odeslat příspěvekod hape. 12. 2. 2024 23:46

Odpoledne dorazila odpověď z Brageru s řešením, takže děkuji všem co se mi pokusili pomoci.
Oni mají ještě server eco7zone kde jsou, po zaregistrování uživatele a ID modulu Media Bord 200, data shromažďována, vytvářeny grafy a je možné si grafy i data (*.csv) vyexportovat. Takže jsem se tam hned zaregistroval a tím to mám tedy vyřešené.
Přílohy
eco7zone_garfy.PNG
hape.
Junior


Kdo je online

Uživatelé procházející toto fórum: Žádní registrovaní uživatelé a 0 návštevníků