xacid: (Default)
2017-05-26 02:09 am
Entry tags:

Политика

Проект Big-data.

Скрам, код-ревью, код-стайл, гайды, ворк-шопы, все дела.

Первый коммит благополучно прошедший все инстанции - читаем всю базу в память.

Не вру.
xacid: (Default)
2017-05-21 05:41 pm
Entry tags:

Flare: Native Compilation for Heterogeneous Workloads in Apache Spark

https://arxiv.org/pdf/1703.08219.pdf

We present Flare: a new back-end for Spark that brings performance closer to the best SQL engines, without giving up the added expressiveness of Spark. We demonstrate order of magnitude speedups both for relational workloads such as TPC-H, as well as for a range of machine learning kernels that combine relational and iterative functional processing.
Flare achieves these results through (1) compilation to native code, (2) replacing parts of the Spark runtime system, and (3) extending the scope of optimization and code generation to large classes of UDFs.
xacid: (Default)
2017-05-21 05:23 pm
Entry tags:

Redox - OS in Rust

https://www.redox-os.org

Redox is a Unix-like Operating System written in Rust, aiming to bring the innovations of Rust to a modern microkernel and full set of applications.
xacid: (Default)
2017-05-15 12:15 am

Жизнь

Ночное насекомое мотылек летая кругами не задает себе вопросов зачем оно это делает и куда вообще летит - это просто его состояние жизни, лучшее что с ним вообще может случиться
xacid: (Default)
2017-03-15 10:17 am
Entry tags:

Scala Native 0.1

http://www.scala-native.org/en/latest/

самое приятное - работает!
xacid: (Default)
2017-03-14 10:00 pm

Дочка

Кстати, я както не сказал еще - у меня вторая дочка родилась месяц назад :)
xacid: (Default)
2017-03-14 09:15 pm

менеджмент

вот както пообщаешся например даже на собеседовании с коллегой-программистом и даже если вердикт не в пользу то все равно остается какое-то позитивное ощущения - хотя бы что нибудь новое узнаешь например

но как только с менеджером каким нибудь поговоришь - всегда как правило остается какоето ощущение чего то неприятного и даже гадкого как будто испачкался

причем издалека пока смотришь на этих клоунов - вроде бы все взрослые и даже серьезные люди - но как только поближе увидишь их (при общении непосредственном) всегда обычно недоумение в результате - что блин за детский сад, вечно какие-то обиды, подозрения, лицемерие и тому подобная подростковая психопатия

я видел конечно и исключения (редкие впрочем) - и адекватных менеджеров и наоборот неадекватных программистов но общее правило вот какое-то такое по опыту

причем как правило у всех этих менеджеров итоговый результат (опять таки за редким исключением) всегда один и тот же - все полимеры просраны полностью

вот просто даже интересно уже становится - кто им вообще верит и доверяет чтото делать? вот как их на профпригодность отбирают? похоже что никак не отбирают ...
xacid: (Default)
2017-02-11 12:58 am

Непоправимое ...

В моей жизни сегодня случилось наверное одно из самых страшных событий - умерла мама, самый близкий человек.
xacid: (Default)
2017-02-10 12:22 am

снова спарк

разобрал его на части смазал снова собрал - поскрипывает но таки работает
получилось так - сделал ему три самопальных простых до ужаса zero-copy rdd
первая читает что надо откуда надо вторая нарезает чанки
третья разбирает записи на кусочки и собирает в паркет
без чанков в паркет загнать ну никак нельзя
зафорычил - удалось его заставить проглотить чанки в полмиллиона записей
на миллионе давится - но это у меня хип нельзя больше 8 гигов сделать - просто нету рамы больше
для начала имхо пойдет в продакшен

да, и что характерно - традиционно ниодна сраная мутабельная операция и даже переменная не возникла
xacid: (Default)
2017-02-08 01:50 am

лямбды

дивиться шо кляти москали називають нашою лямбдою

http://lambda-architecture.net
xacid: (Default)
2017-02-06 11:46 pm
Entry tags:

спарк

даю на работе спарку стрим чтобы он его в паркет загнал
а он гад (спарк) читает его ВЕСЬ в память в массив чтобы РАСПАРАЛЛЕЛИТЬ