Cteni binarnich dat ze streamu

[Hardwire]

Ahoj,
zajimalo by me, jakym zpusobem ctete v C++ data ze streamu tak, aby to bylo efektivni. Potrebuju je mit po nacteni v jednom souvislym bloku pameti, ale samozrejme predem neznam pocet bytu, ktery nactu.

Momentalne to soupu po jednom bytu do vectoru a z nej to pak pres memcpy preleju do vyslednyho bloku pameti, ale cteni po jednom bytu je dost pomaly (nejsem si jistej jestli vinou kontroly streamu na EOF, ctenim toho bytu nebo jeho zapisem do vectoru). Jediny reseni, co me napadlo, je nacitat to po vetsich blocich (~1KB) pres read, pointery na tyhle bloky strkat do vectoru a nakonec to slejt do jednoho velkyho bloku. Ale moc se mi to nelibi

[rezna]

[nou]

na toto sa da pouzit aj ten vektor aby sme ostali v peknom C++. potom to bude vyzerat nejak takto

[rezna]

pozor - musi se nacitat unsigned char jinak to dela bordel. to je totiz ta spravna hodnota bytu.

[Tringi]

Pokud vím, tak u všech trochu rozumných implementací vectoru (MS, GCC, DM) už push_back sám o sobě zdvojnásobuje velikost rezervovaného místa. Tuším dokonce, že tahle složitost je garantovaná standardem (amortized constant time nebo tak nějak). A možná, že to tak funguje i pro .insert (.back (), ...); ...no, není přece tak složité si to ověřit jednoduchým prográmkem, že?
_________________
WWW | GitHub | TW

[quas4]

[Marek]

Tringu> Tak to asi změnili specifikaci ne? Protože pokud vím, tak to nebylo zdvojnásobování, ale něco mnohem menšího. Samozřejmě amortizovaný to je furt, ale v praxi je ta konstanta (amortizovaná cena) mnohem vyšší než u zdvojnásobování, spotřeba paměti je pak nižší. Proto si myslím, že ruční zdvojnásobování má stále smysl, pokud jde o rychlost.

Hardwire> Co to je za stream, že neznáš počet bajtů?
U souborů můžeš udělat seek na konec souboru, zjistit si pozici = počet bajtů. Pak seek na začátek souboru a načíst celý soubor.
_________________
AMD Open Source Graphics Driver Developer

[Hardwire]

[quas4]

[Marek]

[Tringi]

Myslím, že ať je to ×1.5 nebo ×2, tak rozdíl při reálné aplikaci nebude ani trochu znatelný. Pokud se tohle plnění nedělá tisíckrát za snímek, pak ani zjištění velikosti a .reserve() vnímanou rychlost neovlivní.

Abych se vrátil k původní otázce. Pokud to množství načítaných dat bude řádově desítky megabajtů, pak už se pravděpodobně projeví overhead volání funkcí. Hardwire, píšeš že pak používáš memcpy abys to někam šoupnul, to bych řekl že je zbytečné, je lepší to nechat ve vectoru, případně na závěr udělat: std::vector <unsigned char> (v.begin (), v.end ()) .swap (v); ...Čtení po blocích a pak vkládání (pomocí .insert ()) je určitě vhodné řešení pro velké sady dat.
_________________
WWW | GitHub | TW

[Hardwire]

[Marek]

Spíš čti soubory po 512kB blocích. Cokoliv menšího dnes už asi nemá smysl. Možná bych přesto radši sáhl po memcpy, může být rychlejší než vector::swap.
_________________
AMD Open Source Graphics Driver Developer