xacid: (Default)
[personal profile] xacid
разобрал его на части смазал снова собрал - поскрипывает но таки работает
получилось так - сделал ему три самопальных простых до ужаса zero-copy rdd
первая читает что надо откуда надо вторая нарезает чанки
третья разбирает записи на кусочки и собирает в паркет
без чанков в паркет загнать ну никак нельзя
зафорычил - удалось его заставить проглотить чанки в полмиллиона записей
на миллионе давится - но это у меня хип нельзя больше 8 гигов сделать - просто нету рамы больше
для начала имхо пойдет в продакшен

да, и что характерно - традиционно ниодна сраная мутабельная операция и даже переменная не возникла

Profile

xacid: (Default)
xacid

June 2017

S M T W T F S
    123
45678910
11121314151617
18192021222324
252627282930 

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Jul. 26th, 2017 06:40 am
Powered by Dreamwidth Studios