xacid: (Default)
Проект Big-data.

Скрам, код-ревью, код-стайл, гайды, ворк-шопы, все дела.

Первый коммит благополучно прошедший все инстанции - читаем всю базу в память.

Не вру.
xacid: (Default)
https://arxiv.org/pdf/1703.08219.pdf

We present Flare: a new back-end for Spark that brings performance closer to the best SQL engines, without giving up the added expressiveness of Spark. We demonstrate order of magnitude speedups both for relational workloads such as TPC-H, as well as for a range of machine learning kernels that combine relational and iterative functional processing.
Flare achieves these results through (1) compilation to native code, (2) replacing parts of the Spark runtime system, and (3) extending the scope of optimization and code generation to large classes of UDFs.
xacid: (Default)
https://www.redox-os.org

Redox is a Unix-like Operating System written in Rust, aiming to bring the innovations of Rust to a modern microkernel and full set of applications.

Жизнь

May. 15th, 2017 12:15 am
xacid: (Default)
Ночное насекомое мотылек летая кругами не задает себе вопросов зачем оно это делает и куда вообще летит - это просто его состояние жизни, лучшее что с ним вообще может случиться
xacid: (Default)
http://www.scala-native.org/en/latest/

самое приятное - работает!

Дочка

Mar. 14th, 2017 10:00 pm
xacid: (Default)
Кстати, я както не сказал еще - у меня вторая дочка родилась месяц назад :)
xacid: (Default)
вот както пообщаешся например даже на собеседовании с коллегой-программистом и даже если вердикт не в пользу то все равно остается какое-то позитивное ощущения - хотя бы что нибудь новое узнаешь например

но как только с менеджером каким нибудь поговоришь - всегда как правило остается какоето ощущение чего то неприятного и даже гадкого как будто испачкался

причем издалека пока смотришь на этих клоунов - вроде бы все взрослые и даже серьезные люди - но как только поближе увидишь их (при общении непосредственном) всегда обычно недоумение в результате - что блин за детский сад, вечно какие-то обиды, подозрения, лицемерие и тому подобная подростковая психопатия

я видел конечно и исключения (редкие впрочем) - и адекватных менеджеров и наоборот неадекватных программистов но общее правило вот какое-то такое по опыту

причем как правило у всех этих менеджеров итоговый результат (опять таки за редким исключением) всегда один и тот же - все полимеры просраны полностью

вот просто даже интересно уже становится - кто им вообще верит и доверяет чтото делать? вот как их на профпригодность отбирают? похоже что никак не отбирают ...
xacid: (Default)
В моей жизни сегодня случилось наверное одно из самых страшных событий - умерла мама, самый близкий человек.
xacid: (Default)
разобрал его на части смазал снова собрал - поскрипывает но таки работает
получилось так - сделал ему три самопальных простых до ужаса zero-copy rdd
первая читает что надо откуда надо вторая нарезает чанки
третья разбирает записи на кусочки и собирает в паркет
без чанков в паркет загнать ну никак нельзя
зафорычил - удалось его заставить проглотить чанки в полмиллиона записей
на миллионе давится - но это у меня хип нельзя больше 8 гигов сделать - просто нету рамы больше
для начала имхо пойдет в продакшен

да, и что характерно - традиционно ниодна сраная мутабельная операция и даже переменная не возникла
xacid: (Default)
дивиться шо кляти москали називають нашою лямбдою

http://lambda-architecture.net

спарк

Feb. 6th, 2017 11:46 pm
xacid: (Default)
даю на работе спарку стрим чтобы он его в паркет загнал
а он гад (спарк) читает его ВЕСЬ в память в массив чтобы РАСПАРАЛЛЕЛИТЬ

Profile

xacid: (Default)
xacid

June 2017

S M T W T F S
    123
45678910
11121314151617
18192021222324
252627282930 

Syndicate

RSS Atom

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Jul. 26th, 2017 06:32 am
Powered by Dreamwidth Studios