xacid: (Default)
[personal profile] xacid
разобрал его на части смазал снова собрал - поскрипывает но таки работает
получилось так - сделал ему три самопальных простых до ужаса zero-copy rdd
первая читает что надо откуда надо вторая нарезает чанки
третья разбирает записи на кусочки и собирает в паркет
без чанков в паркет загнать ну никак нельзя
зафорычил - удалось его заставить проглотить чанки в полмиллиона записей
на миллионе давится - но это у меня хип нельзя больше 8 гигов сделать - просто нету рамы больше
для начала имхо пойдет в продакшен

да, и что характерно - традиционно ниодна сраная мутабельная операция и даже переменная не возникла

Profile

xacid: (Default)
xacid

August 2017

S M T W T F S
  123 45
67891011 12
13 141516171819
20212223242526
2728293031  

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Sep. 19th, 2017 05:16 pm
Powered by Dreamwidth Studios