[05:02:04] <virtual.lark> 1;3A1;3B
[05:02:54] <virtual.lark> Балин :(
[21:48:18] <vgodunko> Матрёшка это круто!
[21:48:20] <vgodunko> ;-)
[21:50:20] <landgraf> только медленно )
[21:54:58] <vgodunko> ну так нужно исправлять!
[21:55:18] <vgodunko> Для этого достаточно знать что тормозит
[21:59:19] <landgraf> US_To_String томрозит :(
[21:59:31] <landgraf> не часть матрешки, но без нее никак :(
[21:59:34] <vgodunko> Удалить все использования US_To_String ;-)
[21:59:53] <landgraf> vgodunko, а как мне прочитать 2GB текста из файла в US сразу?
[21:59:57] <vgodunko> Шутка конечно, но в каждой шутке...
[21:59:57] <landgraf> я бы с радостью )
[22:00:12] <vgodunko> 2GB текста? Зачем?
[22:00:21] <landgraf> vgodunko, логи
[22:00:40] <landgraf> vgodunko, 2GB - один файл, таких файлов 100 на каждый сервер
[22:00:47] <landgraf> vgodunko, серверов - штук 5
[22:01:02] <landgraf> это в "дано" изменить нельзя
[22:01:08] <landgraf> эти файлы еще в xz
[22:01:08] <vgodunko> Но ведь грузить всё это в память - почти нереально
[22:01:24] <landgraf> vgodunko, а я и не хочу грузить, мне надо читать и индексировать
[22:01:41] <vgodunko> А вот тут - поподробнее.
[22:01:43] <landgraf> индексы загонять в базу и потом по ним искать
[22:01:45] <vgodunko> Как выглядит алгоритм
[22:02:22] <landgraf> vgodunko, пробежать по файлу и записать start_timestamp, end_timestamp и все ERROR/Warning в базу - это для начала
[22:02:33] <landgraf> чтобы потом быстро искать нужную дату-время
[22:03:06] <vgodunko> Хм... Это по любому быстро не будет
[22:03:20] <landgraf> это я понимаю, но с String_To_US будет еще дольше :)
[22:03:33] <landgraf> чем я просто string буду парсить
[22:03:48] <vgodunko> Можно бить на строки на нижнем уровне, потом уже каждый сегмент преобразовывать
[22:04:07] <vgodunko> По крайней мере пока другого варианта нет.
[22:04:16] <vgodunko> Загружать весь файл разом - глупо
[22:04:28] <landgraf> vgodunko, читать по N строк и перегонять в US? я так и делаю сейчас
[22:04:32] <landgraf> вернее начал делать
[22:04:46] <vgodunko> А как читать по N строк?
[22:05:16] <vgodunko> нужно грузить M Kбайт, парсить буфер на признак конца строки и каждый сегмент обрабатывать
[22:05:37] <landgraf> Get_Line  - но это совсем криво
[22:05:56] <vgodunko> Не, это тоже очень медленно
[22:06:03] <landgraf> Get_Whole_Line
[22:06:24] <vgodunko> Средства text_io отличаются тормознутостью в угоду переносимости
[22:06:32] <landgraf> на это "медленно" сверху накладывает "медленно" от String_to_US и идем спать....
[22:07:12] <landgraf> а грузить по M Кбайт - это в Stream_IO?
[22:07:51] <vgodunko> Можно и им
[22:08:06] <yeo> Быстро мы может прочитать буфер, да через Stream_IO
[22:08:42] <yeo> Может сделать какой-то потоковы API для преобразования строк?
[22:08:49] <landgraf> а как потом из этого US или USV смастрячить?
[22:09:29] <landgraf> О! Во флористе есть всякие read-ы
[22:09:32] <vgodunko> Обрезок прогнать через кодек
[22:11:27] <vgodunko> Это небыстрая операция, там сначала канонизация имени кодировки, потом поиск по таблице. Это медленно.
[22:11:53] <vgodunko> Нелогично делать для каждой строки такое, особенно если известно, что все строки в одной локали
[22:12:03] <vgodunko> ой. кодировке
[22:12:25] <landgraf> vgodunko, то есть запиъать этот codec в shared объект и таскать его оттуда7
[22:12:31] <landgraf> запихать
[22:12:48] <vgodunko> Да
[22:13:09] <landgraf> у меня все в одной кодировке...
[22:13:23] <landgraf> en_US.UTF-8
[22:13:43] <landgraf> а нет, с гипервизоров кажется POSIX приходит...
[22:14:06] <vgodunko> Здесь важно только кодировка. Какая локаль - побоку
[22:14:26] <landgraf> но это пофик, ибо все non-ascii - мусор
[22:14:28] <vgodunko> Может быть не побоку при разборке строки потом, ибо вдруг дата будет в формате ru_RU
[22:14:58] <landgraf> vgodunko, из-за чего я это и затеял - там даты в формате "кто на что горазд"
[22:15:11] <vgodunko> Тогда лучше Latin-1 кодек прикрутить, если есть шанс заполучить некорректную последовательность UTF-8
[22:15:18] <landgraf> это надо все перелопать и выдавать мне =)
[23:11:34] <subj_rs> version
[23:11:34] <Жаба> subj_rs,  you have Psi 0.15 on Windows NT
[23:11:39] <subj_rs> version Жаба
[23:11:39] <Жаба> subj_rs, Жаба have Jaba 1.2 (GNAT GPL 2013) on 2.6.32-358.14.1.el6.x86_64
[23:13:56] <landgraf> ping
[23:13:56] <Жаба> landgraf, Pong from you:  0.066043 s
[23:41:52] <subj_rs> log
[23:41:52] <Жаба> subj_rs, Logs here: http://46.254.16.186/ada-ru@conference.jabber.ru/
[23:42:13] <subj_rs> вроде работает кое как