xacid: (Default)
[personal profile] xacid
разобрал его на части смазал снова собрал - поскрипывает но таки работает
получилось так - сделал ему три самопальных простых до ужаса zero-copy rdd
первая читает что надо откуда надо вторая нарезает чанки
третья разбирает записи на кусочки и собирает в паркет
без чанков в паркет загнать ну никак нельзя
зафорычил - удалось его заставить проглотить чанки в полмиллиона записей
на миллионе давится - но это у меня хип нельзя больше 8 гигов сделать - просто нету рамы больше
для начала имхо пойдет в продакшен

да, и что характерно - традиционно ниодна сраная мутабельная операция и даже переменная не возникла
From:
Anonymous( )Anonymous This account has disabled anonymous posting.
OpenID( )OpenID You can comment on this post while signed in with an account from many other sites, once you have confirmed your email address. Sign in using OpenID.
User
Account name:
Password:
If you don't have an account you can create one now.
Subject:
HTML doesn't work in the subject.

Message:

 
Notice: This account is set to log the IP addresses of everyone who comments.
Links will be displayed as unclickable URLs to help prevent spam.

Profile

xacid: (Default)
xacid

August 2017

S M T W T F S
  123 45
67891011 12
13 141516171819
20212223242526
2728293031  

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Sep. 19th, 2017 05:11 pm
Powered by Dreamwidth Studios