1
00:00:00,000 --> 00:00:02,180
Работаете или не работаете?

2
00:00:02,180 --> 00:00:04,000
Да, спасибо.

3
00:00:05,120 --> 00:00:05,960
Меня зовут Илья.

4
00:00:08,060 --> 00:00:09,360
Это Леша.

5
00:00:09,780 --> 00:00:12,140
Я такой менеджер, Леша, программист.

6
00:00:12,440 --> 00:00:13,640
Мы расскажем про

7
00:00:13,640 --> 00:00:16,540
как мы проверяем

8
00:00:16,540 --> 00:00:18,000
общечные продавценности.

9
00:00:18,840 --> 00:00:20,220
И самое главное,

10
00:00:21,380 --> 00:00:21,660
что

11
00:00:21,660 --> 00:00:24,300
можно вынести из доклада

12
00:00:24,300 --> 00:00:26,020
то, что если вы проверяете все

13
00:00:26,020 --> 00:00:27,460
и вы делаете все руками, вы уже

14
00:00:27,460 --> 00:00:29,940
делаете правильно. И то, что

15
00:00:29,940 --> 00:00:34,420
то готовое решение по проверке уютимости может сделать за два месяца.

16
00:00:35,940 --> 00:00:37,320
Если мы очень любые за два месяца,

17
00:00:37,380 --> 00:00:39,820
может 90% инфрованных обсесть на уютимости

18
00:00:39,820 --> 00:00:42,680
и проверять нелюдими.

19
00:00:42,680 --> 00:00:43,360
Здравствуйте.

20
00:00:47,320 --> 00:00:48,360
Всем привет.

21
00:00:48,720 --> 00:00:53,720
Начнем с того, что мы хотели обшел на огромное количество уютимости,

22
00:00:54,120 --> 00:00:55,920
существует огромное количество сканеров,

23
00:00:55,920 --> 00:00:59,080
Это различные сканеры.

24
00:00:59,640 --> 00:01:05,360
Исходный фото в каких-то сканеры, инфраструктуры, сетевые сканеры, инфраструктуры, периметры, всего чего угодно.

25
00:01:05,500 --> 00:01:08,680
Они каждый имеет свой формат, выходит свои какие-то данные.

26
00:01:09,140 --> 00:01:13,640
Точно так же и сами сканеры еще при этом ползят, и шумят, и люди, и по итогу.

27
00:01:14,180 --> 00:01:20,800
Для того, чтобы это все обрабатывать, нужна какая-то единая нормальная точка фото, чтобы все это можно было в том периодике и так-то разбирать.

28
00:01:20,800 --> 00:01:26,500
Как и все другие мы столкнулись с этой проблемой, естественно, мы подумали, какой же продукт можно посмотреть.

29
00:01:27,160 --> 00:01:33,540
И по факту одним из основных, самым известным продуктом является Таджа.

30
00:01:34,320 --> 00:01:37,520
Мы посмотрели, купили, какие у нее есть плюсы, минусы.

31
00:01:38,040 --> 00:01:44,180
И, например, то, что у нее низкая производительность, у нее ненормальная, неполноценная дубликация.

32
00:01:44,180 --> 00:01:48,540
И в нее нельзя легко из коробки сразу же добавлять любые скамеры.

33
00:01:48,540 --> 00:01:50,800
То есть можно пользоваться только тем, что там есть большинство.

34
00:01:50,800 --> 00:01:53,120
Штутки новые, давай, берем, пиши.

35
00:01:53,300 --> 00:01:55,500
Там еще, Леш, самый главный минус.

36
00:01:55,920 --> 00:01:58,080
Темные темы за деньги, где все, кто-то, по-моему.

37
00:01:59,760 --> 00:02:04,560
Да, это, естественно, было основным и самым главным фактором,

38
00:02:04,620 --> 00:02:08,900
почему мы решили к решению, что все же надо стоит написать свой велосипет.

39
00:02:09,040 --> 00:02:10,900
И начали мы как раз именно с темных темы,

40
00:02:11,200 --> 00:02:13,760
чтобы потом можно было в холочах разлазить и глупых.

41
00:02:14,520 --> 00:02:15,800
Можно было все разгорать.

42
00:02:15,800 --> 00:02:21,480
Расскажем так, что у нас здесь.

43
00:02:21,480 --> 00:02:25,280
Это желает бардак с нашего продукта.

44
00:02:25,280 --> 00:02:29,960
Здесь отображено, что около 30 тысяч находок было за этот периметр.

45
00:02:29,960 --> 00:02:33,640
Как раз таки видно по распределению уровня критов,

46
00:02:33,640 --> 00:02:36,400
каёв, медиум, по салону, по средней.

47
00:02:36,400 --> 00:02:39,000
Но самое интересное, это вот эта вот часть.

48
00:02:39,000 --> 00:02:43,880
То, что наш продукт, который мы для себя реализовали, он автоматически тряжет.

49
00:02:43,880 --> 00:02:48,100
Здесь мы видим, что он автоматически раскидывает ползу, что-то подпереденное.

50
00:02:48,440 --> 00:02:53,460
Но самое главное, что из этих 30 тысяч, всего лишь около 3 тысяч сработок,

51
00:02:53,460 --> 00:02:56,700
они уходят на реальный тряж живого человека.

52
00:02:56,920 --> 00:03:01,140
То есть то, что наш продукт не смог запряжить, не смог достоверно определиться,

53
00:03:01,260 --> 00:03:03,100
даже сам, что это ползание, достоверно.

54
00:03:03,240 --> 00:03:05,280
То есть, не знаю, недостаточной информации.

55
00:03:05,760 --> 00:03:07,280
Надо погружаться дальше.

56
00:03:08,740 --> 00:03:11,340
По большому счету, это можно сказать, что один человек,

57
00:03:11,340 --> 00:03:15,260
Он не выгорает, а плавномерно берет и разгорает.

58
00:03:15,380 --> 00:03:28,160
Надо сказать, Алексей, что я лично знаю компании, в которых есть дежурство, в котором люди на потоке сидят, разбирают вручдивости сканеров.

59
00:03:28,880 --> 00:03:31,840
Это достаточно тяжело работать. Самые суровые люди в компании.

60
00:03:32,540 --> 00:03:38,800
Я думаю, что если у вас такая же практика поменяется, надо подумать, что таллы роботы, а не длины.

61
00:03:38,800 --> 00:03:44,800
Дальше у нас небольшое техническое обрезки.

62
00:03:44,800 --> 00:03:46,800
Как это все реализовано?

63
00:03:46,800 --> 00:03:49,800
На самом деле, ничего сверхъестественного нет.

64
00:03:49,800 --> 00:03:53,800
Вибра-системы у нас написаны набожки со стандартными бюрофеками.

65
00:03:53,800 --> 00:03:58,800
Ничего нет. В качестве хранения внутри используется хозгриз.

66
00:03:58,800 --> 00:04:03,800
У нас не используются дополнительные системы чередей.

67
00:04:03,800 --> 00:04:06,240
Рекетинкью, Зеронкью и какие-то подобные

68
00:04:06,240 --> 00:04:07,680
для того, чтобы мы могли

69
00:04:07,680 --> 00:04:09,660
исключить лишнее

70
00:04:09,660 --> 00:04:11,700
лишнее звено в нашей инфраструктуре, чтобы

71
00:04:11,700 --> 00:04:13,260
за ним не следить, а не уходить.

72
00:04:13,860 --> 00:04:16,080
Плюс еще удобно, что если ты даже

73
00:04:16,080 --> 00:04:18,080
негрируешь в бокапе, еще что-то делаешь,

74
00:04:18,080 --> 00:04:19,280
у тебя сразу же все в одно.

75
00:04:19,820 --> 00:04:22,000
И здесь на слайде видно как раз

76
00:04:22,000 --> 00:04:23,980
то, что у нас абсолютно любые

77
00:04:23,980 --> 00:04:26,020
сканеры, которые могут

78
00:04:26,020 --> 00:04:27,960
использоваться, они погружаются

79
00:04:27,960 --> 00:04:29,560
в нашу систему. Дальше

80
00:04:29,560 --> 00:04:31,780
модули просто расписаны, что у нас используется

81
00:04:31,780 --> 00:04:37,780
при этом у нас еще используется с песочницей, с некой они потом позже расскажут.

82
00:04:37,780 --> 00:04:43,780
Ну и стандартные модули оповещения, интеграции со смертными системами для обогащения на входах, оповещения.

83
00:04:43,780 --> 00:04:47,780
Вот я у тебя, Александр, кстати, не спрашивал, поддержка МАКСа она реализована?

84
00:04:47,780 --> 00:04:51,780
Да, все-таки в МАКСе.

85
00:04:51,780 --> 00:04:57,780
Сканеры.

86
00:04:57,780 --> 00:05:07,980
Большинство сканеров, которые сейчас уже представлены на коммерческом рынке, на свободном, на open-source рынке, они в той или иной степени уже поддерживают стандарт.

87
00:05:08,380 --> 00:05:11,560
Возможно, вы его уже слышали, даже этот стандарт царить называется.

88
00:05:11,920 --> 00:05:15,620
Кстати, каналис признал с интерчендингом формат.

89
00:05:16,680 --> 00:05:20,820
Его есть несколько версий, и разные сканеры поддерживают в той или иной степени, как я уже сказал.

90
00:05:20,820 --> 00:05:26,820
но наш сканер который принимать на шкаф он поддерживает если стандарт полный

91
00:05:26,820 --> 00:05:34,200
объем так как он опубликован поэтому если у вас есть стандартные нестандартные сканеры

92
00:05:34,200 --> 00:05:39,260
вообще любые продукты вы можете не дожидаться и не погружаться как-то

93
00:05:39,260 --> 00:05:43,500
как это реализовано куда как это складывает правильно что-то как это надо делать

94
00:05:43,500 --> 00:05:51,240
а вы можете использовать стандарт и вот этот контракт который уже описан и является по сути стандарт

95
00:05:51,240 --> 00:05:58,740
если открыть да я смотрел сайт сайта там 200 печатных спецификаций

96
00:05:58,740 --> 00:06:03,500
все что возможно в сканере все там есть

97
00:06:03,500 --> 00:06:08,640
да еще хочу отметить то что несмотря на то что называется static анализ резался

98
00:06:08,640 --> 00:06:14,640
его структуры такова, что туда можно подогнать абсолютно любые результаты.

99
00:06:14,640 --> 00:06:18,640
САС, DAS, сетевые сканеры. Вообще все что угодно.

100
00:06:18,640 --> 00:06:19,640
Секретное.

101
00:06:19,640 --> 00:06:21,640
Все что угодно вообще без разницы.

102
00:06:21,640 --> 00:06:24,640
Все туда можно положить и все это можно обрабатывать.

103
00:06:24,640 --> 00:06:26,640
Это будет единый контракт на вход там.

104
00:06:27,640 --> 00:06:32,640
Плюс еще мы реализовали у себя не просто недупликацию на Fodek,

105
00:06:32,640 --> 00:06:35,640
но еще и недупликацию кросс-сканерных на Fodek.

106
00:06:35,640 --> 00:06:39,900
У нас даже, группа говорят, что-то похожее, а находки логические,

107
00:06:39,900 --> 00:06:43,700
то мы тоже привезли разные, например, углей и запринесли.

108
00:06:44,040 --> 00:06:48,660
Мы это тоже у себя денормализуем и потом на это депутатизируем.

109
00:06:49,200 --> 00:06:55,360
И по итогу у нас есть четкая последовательность и историческая возможность посмотреть потом на Тайване,

110
00:06:55,520 --> 00:07:01,280
когда это находилось, когда это были повторные находки, кто находил, какой сканер, с какими условиями, и так далее.

111
00:07:01,280 --> 00:07:13,760
Самое интересное, что у нас есть как раз в Тираличном Триаж и ИП. У нас есть несколько вариантов.

112
00:07:13,760 --> 00:07:20,800
Первый вариант – это Триаж, который идет в один раунд всего лишь. Это если какие-то составы и находки именно в исходных кодах.

113
00:07:20,800 --> 00:07:27,280
Там ничего особо интересного и сложного нет. Это используются стандартные промты системные.

114
00:07:27,280 --> 00:07:34,400
И дальше мы в эти стандартные понты догружаем еще то, что у нас приехало от СМИСКАНГ, так называемый недоверенный адапт.

115
00:07:34,400 --> 00:07:41,600
Потому что у нас там может прийти, ну как и любой другой пользовательский от, абсолютно любой, которому мы не можем доверять сразу.

116
00:07:43,200 --> 00:07:44,740
И дальше он обрабатывается.

117
00:07:45,060 --> 00:07:55,540
Если же это у нас какая-то, например, сетевая находка, где требуется какая-то интернационная и интеграционная составляющая с той штукой, где мы это нашли.

118
00:07:55,540 --> 00:08:05,700
то соответственно у нас составляется промок, он передается в S&B, то есть у нас составляются команды для определенных куллов, например, NMA, PURL, любые какие-то у нас есть,

119
00:08:05,700 --> 00:08:15,000
некий перечень команд разрешенных, он запускается в S&B, S&B проверяет, прогоняет эти команды, тоже генерирует вот этот выход и отдает обратно LLM.

120
00:08:15,000 --> 00:08:23,840
И Эрланд уже склеивает то, что у нее было на первом раунде, то, что она фактически получила при повторной проверке на живых роликах, скажем так.

121
00:08:24,180 --> 00:08:28,120
Она еще раз это все оборачивает, проверяет и смотрит, что же по итогу получилось.

122
00:08:28,580 --> 00:08:34,600
И по итогу она выдает твердить, что действительно подтвердилось, не подтвердилось, ползает или она не уверена.

123
00:08:34,600 --> 00:08:41,820
она формирует еще уверенность в свою, и потом она еще дополнительно категорирует,

124
00:08:41,920 --> 00:08:46,080
потому что у нас разные сканеры могут в разных категориях прописывать,

125
00:08:46,260 --> 00:08:51,920
потом для отчетности гораздо проще уже приводить это к единому стандарту, чтобы делать не руками.

126
00:08:53,000 --> 00:08:57,460
И после того, как она ответила с какой-нибудь вероятностью, что она дал веро-ли-не-веро,

127
00:08:57,560 --> 00:09:00,880
у нас принимается решение, у нас может автоматически обрабатываться таска,

128
00:09:00,880 --> 00:09:05,200
либо закрываться, либо подтверждаться, либо дальше куда запахло, наедет и опабатывается.

129
00:09:07,460 --> 00:09:10,800
Здесь на экране как раз таки представлены системные промпты,

130
00:09:12,380 --> 00:09:16,220
и здесь как раз таки то, что предыдущий спикер рассказывал по поводу,

131
00:09:16,580 --> 00:09:19,660
как их формировать, то, что там джейсоны, куда, чего,

132
00:09:19,660 --> 00:09:23,120
я думаю, здесь, наверное, не обусим, что подробно останавливаться,

133
00:09:23,240 --> 00:09:25,860
если интересно, вы зададите вопросы, расскажите.

134
00:09:25,860 --> 00:09:34,620
Из того, что интересно, например, это, как я уже говорил, про защита, по крайней мере, попытка защиты, про инъекции.

135
00:09:34,620 --> 00:09:40,940
Потому что, как мы говорим, результаты сканеров, которые они нам присылают, это обычный пользовательский лоб.

136
00:09:41,260 --> 00:09:42,700
И мы не должны им все это доверять.

137
00:09:43,060 --> 00:09:45,780
Там могут быть любого рода инъекции, как-либо.

138
00:09:46,000 --> 00:09:50,020
Что-то сходить куда-нибудь на медитативный сервер, подключиться, сделать еще что-то.

139
00:09:50,320 --> 00:09:54,020
Поэтому весь наш input мы оборачиваем специальные токены.

140
00:09:54,020 --> 00:10:01,020
по сути это маркеры и у нас в системном прохте описано что эта конструкция не должна роматься

141
00:10:01,020 --> 00:10:06,860
потом у нас еще в санбоксе опять-таки есть тот же самый выход который она дает это тоже

142
00:10:06,860 --> 00:10:12,620
недоверенные данные если мы что-то пропустили на первом этапе плюс у нас есть проверка на только

143
00:10:12,620 --> 00:10:19,400
разрешенные команды которые можно выполнять и плюс ко всему еще так как мы выполняем это все санбоксинг

144
00:10:19,400 --> 00:10:28,840
Если, например, у нас происходит проверка сетевой какой-то находки, то перед запуском синбокса, перед поднятием входа мы еще изменяем сетевую политику.

145
00:10:29,420 --> 00:10:34,400
Чтобы в том виде, чтобы у нас сам синбокс мог сходить только на один конкретный адрес.

146
00:10:34,780 --> 00:10:42,500
То есть если мы даже где-то на предыдущих этапах что-то упустили и что-то недореализовали, то это тоже будет выход.

147
00:10:42,500 --> 00:10:48,180
То есть у нас такая многослойная, несколько уровневая система,

148
00:10:48,180 --> 00:10:51,000
где мы пытаемся безопасить сами себя.

149
00:10:51,000 --> 00:10:56,620
Здесь перечислены также некие наши митикирующие меры,

150
00:10:56,620 --> 00:10:58,780
которые применяются для слимбокса.

151
00:10:58,780 --> 00:11:01,220
То, что тайговая система только для чайных каких-то

152
00:11:01,220 --> 00:11:03,340
capabilities и ограничений по времени.

153
00:11:03,340 --> 00:11:06,940
По большому счету это все для короткоживущих ходов,

154
00:11:06,940 --> 00:11:10,780
которые должны отработать, сделать свои шоты и проверить.

155
00:11:12,500 --> 00:11:23,420
После того, как у нас отработал наш или триаж, у нас есть возможность еще прогнать на еще один слой.

156
00:11:23,420 --> 00:11:31,180
Если вы, например, не уверены, или потом ретроспективно перепроверяете, или где-то что-то нашли, попытаетесь найти какие-то похожие находки,

157
00:11:31,520 --> 00:11:38,120
то вы можете догрузить саму систему на ленте, через интерфейс, свой дополнительный промок.

158
00:11:38,120 --> 00:11:48,440
например, то, что она посчитала, что это не столь важно, или наоборот сказала, что это очень важно, а вы можете сказать, да нет, это прейдж-дер, поэтому не обращайтесь, относитесь к нему как-то попроще.

159
00:11:50,440 --> 00:11:54,400
Поэтому у нас можно сказать, что он не просто тупой и тряш, а у нас...

160
00:11:54,400 --> 00:11:56,080
То есть им можно поспорить, да, еще?

161
00:11:56,080 --> 00:12:08,000
Да, с ним можно поспорить, при этом там у нас есть некий чат такой, и то, что у тебя есть подведущие ответы, и ты туда можешь кинуть еще контекста, чтобы она еще раз пошла перед ним, а для нового, чтобы она писала все.

162
00:12:08,120 --> 00:12:13,420
может получать какие-то такие патентские системы с чатом, где ты можешь много себе поражаться.

163
00:12:16,940 --> 00:12:19,340
Интересный слайд самый, товарищ, рассказ.

164
00:12:19,900 --> 00:12:26,740
Да, мы проводили изыскание нашей проверки на нескольких открытых публичных моделях.

165
00:12:27,520 --> 00:12:31,600
Сразу скажу, что у нас в топе получилась BLM именно версии 4.7,

166
00:12:32,200 --> 00:12:36,420
которая детерка, ее здесь нет, она вообще не особо хорошо себя делала.

167
00:12:36,420 --> 00:12:39,620
Но в тот момент даже вы сами задержали.

168
00:12:39,620 --> 00:12:42,200
Мы говорили, что пятерка не очень стабильная.

169
00:12:42,200 --> 00:12:43,680
Подождите, мы выпустим 5.1.

170
00:12:43,780 --> 00:12:46,520
Здесь на что хочу обратить внимание.

171
00:12:46,640 --> 00:12:48,080
То же, что говорит предыдущий ститер.

172
00:12:48,400 --> 00:12:50,840
Не обязательно, что именно большие модели,

173
00:12:51,080 --> 00:12:53,360
у которых очень много параметров,

174
00:12:54,320 --> 00:12:56,360
что они будут гораздо эффективнее работать

175
00:12:56,360 --> 00:12:58,860
и они будут попахнут умнее, чем другие модели.

176
00:13:00,760 --> 00:13:03,040
Здесь мы проводили какой-то СС.

177
00:13:03,160 --> 00:13:05,660
Мы выбрали 100 находок.

178
00:13:05,660 --> 00:13:12,660
При этом из них 50 – это такие же находки, которые мы сначала руками разряжали, посмотрели, выписали, какие у них результаты.

179
00:13:12,660 --> 00:13:22,060
Потом в качестве оракула, ну не оракула, а какого-то судьи, мы использовали опус, который считается одним из самых умных, как пущего нет.

180
00:13:22,060 --> 00:13:28,960
И мы проверили, согласен мы с нашими ответами или нет. Сразу скажу, что опус согласился вообще со всеми нашими вариантами.

181
00:13:28,960 --> 00:13:42,840
Потом мы добавили еще 50 сработок на ходах, как называемые, и мы докинули и Oculus сам по ним при возвращении. Мы тоже проверили, да, они были действительно валютные правды.

182
00:13:42,840 --> 00:13:55,560
Поэтому за единицу правды мы берем именно результаты Oculus, а все остальные модели мы прогоняли. При этом сразу же говорю, мы все модели прогоняли на одни и тех же данных с одними и тем жеми в пространстве.

183
00:13:55,560 --> 00:14:00,720
Это как раз возвращаемся к предыдущему оратору, который говорил, что промки надо подкручивать.

184
00:14:00,720 --> 00:14:09,300
Здесь промки не подкручивались, но сразу скажу, что подкручивание промков даст 2-3%, но не 20-30% сразу для этой уверенности.

185
00:14:10,520 --> 00:14:13,120
Ну и здесь можно посмотреть то, что на самом деле...

186
00:14:13,120 --> 00:14:19,600
Какие все обидные строчки, да? Есть гигачат, у него вероятность какой подкидывания нет, кем гадал.

187
00:14:19,600 --> 00:14:28,600
Ну да, практически он 58% в принципе. По большому счету можно рандомат, когда единицы таким будет что-то похожее.

188
00:14:28,600 --> 00:14:34,600
Вот, где вам отличие на мега?

189
00:14:34,600 --> 00:14:40,600
Здесь у нас как раз таки откуда берутся таргиты для скамеря и всего остального. Это внешние системы какие-то.

190
00:14:40,600 --> 00:14:47,600
Про что я говорил, если у нас в каких-то системе есть возможность еще долго обогатить какие-то данные из внутренних корпоративных систем.

191
00:14:47,600 --> 00:15:03,640
Мы пытаемся подкачивать данные для того, чтобы обогатить контекст, чтобы не ромка, но главное, что мы обоснованы, что по-моему, мы обоснованы, потому что на это мы полагаемся.

192
00:15:03,640 --> 00:15:06,760
Что у нас в итоге получилось?

193
00:15:06,760 --> 00:15:12,880
В итоге получилось, что практически за три месяца мы нахватали около 30 тысяч сработок.

194
00:15:12,880 --> 00:15:19,220
Из них примерно 90% были отработаны автоматически.

195
00:15:19,220 --> 00:15:23,860
И только около 7% пришлось разбирать ручную аналитику.

196
00:15:23,860 --> 00:15:28,580
Это гораздо лучше, чем 30 тысяч раз посидеть, покликать в дефектаже.

197
00:15:28,580 --> 00:15:34,580
А тут у нас еще есть горячие клавиши, черная тема, всякие плюшки и удобности.

198
00:15:34,580 --> 00:15:36,580
В общем, мы позаботились о людях, что...

199
00:15:36,580 --> 00:15:40,580
Самое главное, чтобы людям было приятно, комфортно, чтобы занять на боку.

200
00:15:40,580 --> 00:15:43,580
Вот люди, например, на 4-е.

201
00:15:43,580 --> 00:15:44,580
Да.

202
00:15:44,580 --> 00:15:46,580
Все, мы всегда любим.

203
00:15:46,580 --> 00:15:49,580
Да, по большому счету все.

204
00:15:49,580 --> 00:15:52,580
Если есть какие-то вопросы, то задавайте.

205
00:15:52,580 --> 00:15:53,580
Да.

206
00:15:53,580 --> 00:15:55,580
Офарные вопросы.

207
00:15:55,580 --> 00:15:58,580
Меня слышно?

208
00:15:58,580 --> 00:15:59,580
Навальный с киталом.

209
00:16:01,580 --> 00:16:02,580
Спасибо.

210
00:16:06,580 --> 00:16:07,580
Меня слышно?

211
00:16:07,580 --> 00:16:08,580
Слышно.

212
00:16:08,580 --> 00:16:11,580
Коллеги, я тоже руководитель обсерка.

213
00:16:11,580 --> 00:16:14,580
И у меня дело такое для своего личного пользования.

214
00:16:14,580 --> 00:16:16,580
Вот мне вот такой вопрос.

215
00:16:16,580 --> 00:16:19,580
Делали ли вы какую-то интеграцию с GitHub?

216
00:16:19,580 --> 00:16:20,580
Семейл.

217
00:16:20,580 --> 00:16:24,180
То есть, допустим, у нас есть там лайн-экскрипты,

218
00:16:24,180 --> 00:16:27,020
ручек, который постоянно нужно обновлять, там какую-то

219
00:16:27,020 --> 00:16:31,380
фичу закидывает разработчик, после этого там quality gate

220
00:16:31,380 --> 00:16:32,380
его ломает.

221
00:16:32,380 --> 00:16:36,660
И вы, посредством EI-дража, допустим, через ваш

222
00:16:36,660 --> 00:16:40,900
security hub, он этот же уязву берет обновляет, у него

223
00:16:40,900 --> 00:16:43,900
уязва устаревшая зависимость, и все.

224
00:16:43,900 --> 00:16:46,900
То у вас такой элемент вы не реали?

225
00:16:46,900 --> 00:16:50,020
Не, я тут что-то не понял, как бы интеграция сезона у

226
00:16:50,020 --> 00:16:54,020
С деклаполитиками, которые находятся в Литернете.

227
00:16:54,020 --> 00:16:58,020
А, нет, с деклаполитиками не интегрированы.

228
00:16:58,020 --> 00:16:59,020
И второй вопрос.

229
00:16:59,020 --> 00:17:02,020
Использовали вы локальные лэнки для треажа?

230
00:17:02,020 --> 00:17:06,020
Вы сказали, что хвост использует локус, а было в какой-то системе с локальным лэнком,

231
00:17:06,020 --> 00:17:08,020
который как джадж лежит?

232
00:17:08,020 --> 00:17:10,020
Верите как джадж?

233
00:17:10,020 --> 00:17:12,020
Не верите в локальные лэнки?

234
00:17:12,020 --> 00:17:13,020
Нет, почему?

235
00:17:13,020 --> 00:17:17,020
У нас просто не было смысла использовать его как джадж.

236
00:17:17,020 --> 00:17:31,020
Нам-то надо было просто сделать выборку, в которой мы 100% уверены для того, чтобы сделать ее большую часть руками ее выбирать, а потом уже прогнать эти локальные коллайки и посмотреть, насколько они правы и насколько они близки к правде.

237
00:17:31,020 --> 00:17:34,020
Поэтому делать разных судей, ну, нет смысла.

238
00:17:34,020 --> 00:17:39,540
И последний вопрос задам. Делали ли вы какую-то интеграцию, пытались литочинять с Грайпом?

239
00:17:39,540 --> 00:17:47,540
То есть чтобы он Linux-пакеты конкретно смотрел, устарели они, не устарели, и его это закидывали в вашу Security Hub?

240
00:17:47,540 --> 00:17:54,620
Есть, да, только у нас несколько другая система. У нас, например, используется Harbour, да, который мы берем из Harbour,

241
00:17:54,620 --> 00:17:56,620
Оттуда выдергиваем мокр.

242
00:17:56,620 --> 00:17:58,620
А, 4-х 4-х 4-х

243
00:17:58,620 --> 00:18:01,620
Мы берем, но при этом мы тоже делаем его не в тупую.

244
00:18:01,620 --> 00:18:05,620
Потому что Harbour, да, у нас уже есть встроенный анализатор в 3D.

245
00:18:05,620 --> 00:18:09,620
Но проблема 3D в том, что он берет и анализирует только финальный слой.

246
00:18:09,620 --> 00:18:11,620
Опять финальный слой только.

247
00:18:11,620 --> 00:18:13,620
А если у тебя где-то в середине слой есть, например, секрет,

248
00:18:13,620 --> 00:18:15,620
ты его написал, что-то сделал, что-то он упер.

249
00:18:15,620 --> 00:18:17,620
То этот 3D его уже не найдет.

250
00:18:17,620 --> 00:18:20,620
Поэтому мы сделали так, что мы берем из Harbour,

251
00:18:20,620 --> 00:18:23,620
из Harbour вытаскиваем себе полностью образ, мы его

252
00:18:23,620 --> 00:18:26,620
расслаиваем и каждый слой мы проверяем отдельно

253
00:18:26,620 --> 00:18:29,620
и каждый слой по результатам сканирования мы загружаем

254
00:18:29,620 --> 00:18:32,620
в себе систему и получаем ободку, в том числе и в исторических

255
00:18:32,620 --> 00:18:33,620
слоях.

256
00:18:33,620 --> 00:18:36,620
Поэтому, надеюсь, ответил на ваш вопрос.

257
00:18:36,620 --> 00:18:38,620
Да, ответил. Спасибо вам.

258
00:18:38,620 --> 00:18:41,620
Спасибо за доклад, было очень интересно.

259
00:18:41,620 --> 00:18:44,620
Я, правда, не очень, конечно, понял, зачем он сравнивает

260
00:18:44,620 --> 00:18:47,620
10-б модели с 4-сто и 120-б.

261
00:18:47,620 --> 00:18:51,620
Это нелогично.

262
00:18:51,620 --> 00:18:52,620
Могу сразу отлететь.

263
00:18:52,620 --> 00:18:54,620
Потому что это были те модели, которые у нас доступны.

264
00:18:54,620 --> 00:18:56,620
И можно было посмотреть.

265
00:18:56,620 --> 00:18:57,620
А вось, а вдруг.

266
00:18:57,620 --> 00:19:00,620
Понятно, что я предполагаю, что она не вывезет и сможет.

267
00:19:00,620 --> 00:19:02,620
Но вдруг она сможет.

268
00:19:02,620 --> 00:19:03,620
Я думаю, ничего себе.

269
00:19:03,620 --> 00:19:04,620
Она стоит копейки.

270
00:19:04,620 --> 00:19:05,620
Работает за пару-тройку секунд.

271
00:19:05,620 --> 00:19:07,620
После того, что какая-то думаешь.

272
00:19:07,620 --> 00:19:10,620
И вен три с половиной думает у нас целую минуту.

273
00:19:10,620 --> 00:19:13,620
Поэтому надо проверить вообще все возможные варианты.

274
00:19:13,620 --> 00:19:15,620
Поэтому здесь честное сравнение.

275
00:19:15,620 --> 00:19:20,300
Да, может быть оно не особо правильное, но зато честное.

276
00:19:20,300 --> 00:19:22,720
Понял. У меня ещё вопрос, а что за последние модели?

277
00:19:22,720 --> 00:19:29,220
HFTS Pro, это отношение, она имеет отношение к HFTS как компанию или это что-то вы говорили?

278
00:19:29,220 --> 00:19:36,020
По-моему нет. Вообще модель, которую я на самом деле даже на самом начале не знал, что это такое.

279
00:19:36,020 --> 00:19:39,220
Это лучшая модель, которая является подскачкой в YouTube.

280
00:19:39,220 --> 00:19:43,220
Она такая-то очень странная. Она опять-таки не работает в ней с шейсом.

281
00:19:43,220 --> 00:19:47,920
Она вообще практически ничего не умеет и зачем она нужна, я честно

282
00:19:47,920 --> 00:19:52,120
Просто сама по себе она такая, у QM3, у QDX она вообще хорошая модель

283
00:19:52,120 --> 00:19:57,420
Поэтому мне было удивительно, что у вас, ну как бы, и Джейсончик даже не смогла сгонять

284
00:19:57,420 --> 00:20:04,720
Да, но она, не знаю почему не смогла, просто она отдавала пикли Джейсон постоянно

285
00:20:04,720 --> 00:20:09,720
То есть, грубо говоря, опять-таки мы же толкаем большой промп, и мы получаем большой услуг

286
00:20:09,720 --> 00:20:16,320
Грубо говоря, как раз вот этот пролетающий парадо рассказывал, то что мы берем, заталкиваем и что-то получаем.

287
00:20:16,420 --> 00:20:18,580
И это, грубо говоря, как раз таки есть одна сессия.

288
00:20:18,700 --> 00:20:19,880
У нас не держится сессия.

289
00:20:20,100 --> 00:20:22,500
Запрос, ответ, все, контекста нет, мы о нем забыли.

290
00:20:22,720 --> 00:20:26,840
В среднем у нас получается, что у нас на вход и на выход где-то прилетает по 4 тысячи долларов.

291
00:20:27,480 --> 00:20:32,700
И вот, видимо, кодер Next, он не предназначен для того, чтобы он сразу на выход отдавал по 4 тысячи долларов.

292
00:20:33,200 --> 00:20:35,020
И просто поэтому он здесь начинает ломаться.

293
00:20:35,020 --> 00:20:41,440
Лога по большому счету предназначен для того, чтобы ему дали что-то, а он тебе короткие подсказки, что тебе куда дальше будет подписать.

294
00:20:42,040 --> 00:20:44,480
Возможно, с этим связано. Я не знаю, как это будет.

295
00:20:44,480 --> 00:20:54,500
Еще был вопрос по поводу JSON. Несколько оптимально его использовать, потому что, допустим, если мы берем YAML или TOM, он гораздо эффективнее по токенам.

296
00:20:54,500 --> 00:21:00,740
И, соответственно, вы экономите на времени, на задержках и на итоговом контексте.

297
00:21:00,740 --> 00:21:05,740
Яблокомл он конвертировать просто с Круптом Джейсона вообще не сделал?

298
00:21:05,740 --> 00:21:11,060
Можно, да. Например, с тем же самым Яблокомлом. Я, крайне мере, столкнулся с тем, что у Яблокомл

299
00:21:11,060 --> 00:21:15,740
у тебя есть зависимость от того, какой ты пакет в этих пробелах, табах и так далее.

300
00:21:15,740 --> 00:21:19,740
И от этого у тебя ломается синтекс и сама структура вот этого ответа.

301
00:21:19,740 --> 00:21:22,740
Джейсон, он более структурирован за счет своих фигурных токачей.

302
00:21:22,740 --> 00:21:25,740
Там и там, потеряя несколько токенов на это.

303
00:21:25,740 --> 00:21:30,880
Ну блин, лучше я потеряю несколько тофинов, зато получу нормальный полидный ответ, да?

304
00:21:30,880 --> 00:21:35,780
Чем я буду сидеть и ломать голову, а что у меня путь съехал, а почему там съехал.

305
00:21:35,780 --> 00:21:38,880
То есть я за стабильный нормальный результат, который точно работает.

306
00:21:38,880 --> 00:21:40,680
И главное, сенсор спорят.

307
00:21:40,680 --> 00:21:42,000
Валерий, большое спасибо.

308
00:21:42,000 --> 00:21:45,000
Вам маленькие комментарии, если хочется, то вы меня поделали.

309
00:21:45,000 --> 00:21:50,000
И мы только с тех, кто вам поддерживает, что вы еще срок сувенивали.

310
00:21:50,000 --> 00:21:52,000
То есть они между каминами.

311
00:21:52,000 --> 00:21:56,000
Они правильнее выгибают свой запрос.

312
00:21:56,000 --> 00:21:59,000
Если вы получите какой-нибудь душе или что-то еще есть,

313
00:21:59,000 --> 00:22:02,000
если берешь пирожек, скольми ему душе,

314
00:22:02,000 --> 00:22:06,000
ты будешь, вот в этом же сегодня поле поменял и шарфов.

315
00:22:06,000 --> 00:22:08,000
Думай про него.

316
00:22:08,000 --> 00:22:11,000
У меня тоже такое большое замечание,

317
00:22:11,000 --> 00:22:17,000
потому что я как раз приобряживал и нахлопля в окусе,

318
00:22:17,000 --> 00:22:19,000
и на чате GPT-5.

319
00:22:19,000 --> 00:22:24,000
На опыте суть в пустиму данные, вон, вылетворяя головы,

320
00:22:24,000 --> 00:22:27,000
главы моделей, которые все боятся, они не текли сюда,

321
00:22:27,000 --> 00:22:31,000
а в чашечке 5-5 он поменялся где-то нарученный данный

322
00:22:31,000 --> 00:22:34,000
и в чашечке, в общем говоря, он лучше, вляжет,

323
00:22:34,000 --> 00:22:38,000
он показывает более качественные проекты, в опыте для ворудования.

324
00:22:38,000 --> 00:22:42,000
В опыте нужно подсказывать, а в чашечке 5-5 вот здесь самое,

325
00:22:42,000 --> 00:22:52,000
Узбергского гигантчану, у него пункт сейчас прослухи наступает.

326
00:22:52,000 --> 00:23:02,000
В топик, ребята, кто-то привязал велосипед кассе театра.

327
00:23:02,000 --> 00:23:06,000
Это окей, да, но это касса и они ругаются.

328
00:23:06,000 --> 00:23:10,000
Поэтому если можно его чуть-чуть переместить. Спасибо.

329
00:23:10,000 --> 00:23:11,820
на айти шикап, оказывается, что на лес.

330
00:23:11,820 --> 00:23:17,240
В общем, я сейчас смотрю на сравнение моделей, и у

331
00:23:17,240 --> 00:23:21,160
меня возникает вопрос, почему в сравнении участвует

332
00:23:21,160 --> 00:23:24,460
гигачат, когда в принципе можно использовать тот же

333
00:23:24,460 --> 00:23:28,740
типсик, и он будет намного сильнее, чем тот же гигачат.

334
00:23:28,740 --> 00:23:32,180
Я же говорил про этот вопрос, это просто то, что было

335
00:23:32,180 --> 00:23:35,440
под рукой, то есть я в группу, то есть это не ради того,

336
00:23:35,440 --> 00:23:37,540
чтобы про рекламировать какие-то модели и не сказать,

337
00:23:37,540 --> 00:23:38,820
что они там какие-то платили.

338
00:23:38,820 --> 00:23:41,940
просто кинул кости на стол, что упало

339
00:23:41,940 --> 00:23:45,060
позвоните, вопрос

340
00:23:45,060 --> 00:23:47,640
есть у вас экономика, например, расчет

341
00:23:47,640 --> 00:23:49,220
вот вы сделали это решение

342
00:23:49,220 --> 00:23:51,140
и оно восстановилось в ПТЕ

343
00:23:51,140 --> 00:23:51,940
ну примерно

344
00:23:51,940 --> 00:23:53,580
или нет процентов

345
00:23:53,580 --> 00:23:56,740
вот, смотри, Джун

346
00:23:56,740 --> 00:23:58,740
от 100 тысяч рублей стоит, да

347
00:23:58,740 --> 00:24:01,140
это зарплата для компании

348
00:24:01,140 --> 00:24:03,340
он будет выходить 10-50 в месяц, примерно

349
00:24:03,340 --> 00:24:05,300
ну вот по токенам

350
00:24:05,300 --> 00:24:07,140
сколько у нас, мы с тобой считаем

351
00:24:07,140 --> 00:24:08,440
300 баксов

352
00:24:08,440 --> 00:24:14,100
Это вот Горчуков соседний, поменять себе любить на 300, да? 300 баксов в месяц идет.

353
00:24:14,100 --> 00:24:19,260
А у них такая же точность сравнимая, то есть у них так же не ошибаются, так же эффективную задачу?

354
00:24:19,260 --> 00:24:24,660
Ну вот смотри, Джун не уходит в отпуск, он спит, ест и так далее.

355
00:24:24,660 --> 00:24:33,020
Ну по нашей практике, как мы глазами смотрели, что он вырабатывает, качество абсолютно сравнимое.

356
00:24:33,020 --> 00:24:36,620
Какую рубль есть?

357
00:24:36,620 --> 00:24:39,500
Она на 100% как джун.

358
00:24:39,500 --> 00:24:41,260
У меня четкие убеждения.

359
00:24:41,260 --> 00:24:45,340
Если промпит четкие, то она как джун.

360
00:24:45,340 --> 00:24:46,340
На счет один.

361
00:24:46,340 --> 00:24:47,340
Поточняющий вопрос.

362
00:24:47,340 --> 00:24:51,020
Я понимаю, что все эти проценты посчитал с помощью Benchina.

363
00:24:51,020 --> 00:24:54,220
Я проценты составлял на опус 4,7.

364
00:24:54,220 --> 00:24:56,620
Кто стоял проценты?

365
00:24:56,620 --> 00:24:58,700
Ручную размещали.

366
00:24:58,700 --> 00:24:59,980
Первые 50.

367
00:24:59,980 --> 00:25:03,420
Про вот это вот рассказать, как делалось.

368
00:25:04,200 --> 00:25:06,000
Взяли 100 находок.

369
00:25:06,340 --> 00:25:08,980
Из них изначально 50 были размечены нами,

370
00:25:09,100 --> 00:25:10,280
сразу же мы точно знали.

371
00:25:10,680 --> 00:25:12,800
Мы в качестве судей взяли фокус

372
00:25:12,800 --> 00:25:14,740
и говорим, вот эти вот 50 проверки,

373
00:25:14,740 --> 00:25:16,220
какой ты, говорит, результат.

374
00:25:16,440 --> 00:25:18,420
Он полностью совпал с нашим результатом.

375
00:25:18,640 --> 00:25:21,000
Потом мы взяли еще 50 результатов,

376
00:25:21,060 --> 00:25:22,600
других, которые мы сами не разметили.

377
00:25:22,940 --> 00:25:23,960
Разметили фокусом.

378
00:25:24,180 --> 00:25:26,140
Проверили, да, действительно совпадает.

379
00:25:26,140 --> 00:25:28,380
То есть, грубо говоря, мы взяли 100 находок,

380
00:25:28,380 --> 00:25:35,100
размечены однозначно достоверно четко. Потом мы взяли ГЛМ и говорили тебе вот тебе 100 задач,

381
00:25:35,100 --> 00:25:41,380
скажи где из них фолза, где у тебя фолз-хозы, где у тебя фолз-набитый. Он с нашими ответами

382
00:25:41,380 --> 00:25:48,380
запал, у него 80%. То, что он зафолзил, вот эти проценты, которые точительно. То есть считала не нейронка,

383
00:25:48,380 --> 00:25:54,260
а это обычная математика. На основании тех походов, которые расстряжили другие модели.

384
00:25:54,260 --> 00:26:00,440
Я просто чего спрашиваю, потому что есть факт, что когда модель оценивает саму себя, она себе этом подкручивает.

385
00:26:00,440 --> 00:26:08,780
И поэтому есть паблик информация о том, что китайские модели часто были стилены на базе лучших моделей Tuxia,

386
00:26:08,780 --> 00:26:17,380
а оттропика. То есть грубо говоря, что JLM была стилирована на базе плода, и поэтому плод, ну там, пара,

387
00:26:17,380 --> 00:26:23,500
только по центру накрутить. Нет, нет, здесь это простейшая математика. Они даже не знали о том, что их тестируют.

388
00:26:23,500 --> 00:26:30,500
просто подавали именно пайдинги и сказали, что это false positive, false negative, что это вообще такое.

389
00:26:30,500 --> 00:26:38,500
И он просто выдавал. Мы это писали в хайле, потом посмотрели, какие ответы этих яичек совпали с тем, что мы сами разметили.

390
00:26:38,500 --> 00:26:40,500
То есть на наших астрадах. И всё.

391
00:26:44,500 --> 00:26:46,500
Тут ещё вопросы есть.

392
00:26:46,500 --> 00:26:55,280
Сказали, что около 30 тысяч, для огромного 90% количества было принято решение.

393
00:26:56,460 --> 00:26:58,460
Все-таки LLM это карьераянность.

394
00:26:59,360 --> 00:27:02,560
Эти решения, они основываются на уверенности модели?

395
00:27:03,620 --> 00:27:06,160
Или это прямо 100% уверенность?

396
00:27:06,860 --> 00:27:10,320
Нет, LLM на самом деле, они, как я уже рассказывал,

397
00:27:10,320 --> 00:27:22,320
Как я рассказывал ранее, у нас когда LLMH отдаёт свой результат, она ещё сама ставит свою вероятность о том, насколько она уверена.

398
00:27:22,320 --> 00:27:31,320
И уверенность это может быть от 0 до 1. Если у нас уверенность меньше чем 95%, то есть мы на 100 кг уверены, что это ползает, тогда она говорит о ползает.

399
00:27:31,320 --> 00:27:34,440
Хотелось спросить, какой порог вы порог убрали?

400
00:27:34,440 --> 00:27:36,440
Мы взяли порог 95%.

401
00:27:36,440 --> 00:27:42,480
Чтобы она не делала именно, не выписывала в полспособстики какие-то реальные находки и чтобы в полснегрит тоже не выходило.

402
00:27:42,480 --> 00:27:46,560
Поэтому вот где ты 100% уверен, окей, мы доверяем твоему решению.

403
00:27:46,560 --> 00:27:49,840
Где ты не уверена, ну тогда сразу разберемся.

404
00:27:49,840 --> 00:27:55,600
Да, и вот эти вот 7% это именно там, где она не уверена, что у нас уходит на ручной разборка на лифте.

405
00:27:55,600 --> 00:28:00,600
У нас еще три дохода, поэтому благодарим спикерам и зовем к ним!

406
00:28:01,320 --> 00:28:01,880
Спасибо.