1
00:00:00,000 --> 00:00:11,500
Ребята, всем привет!

2
00:00:11,500 --> 00:00:16,500
Позвольте мне представить одного человека, который

3
00:00:16,500 --> 00:00:24,720
полгода локальную модельку на домашней 4080 на LLM 3H.

4
00:00:24,720 --> 00:00:25,760
И у него получилось.

5
00:00:25,760 --> 00:00:55,740
Чуть-чуть о себе.

6
00:00:55,760 --> 00:01:02,760
Почему эта тема? Ну, потому что так сложилось, что на собеседование я обманулся.

7
00:01:02,760 --> 00:01:08,760
Я вот скачал себе ЭВЛ-нку, я немножечко потряживал, мне понравилось.

8
00:01:08,760 --> 00:01:14,760
Вообще, видео покупалось для того, чтобы играть в Кибербанк.

9
00:01:14,760 --> 00:01:20,760
Ну, а сейчас я отвечаю на вопрос, можно ли устроить с ее помощью Кибербанк в реальной жизни.

10
00:01:20,760 --> 00:01:23,760
Ну, и у меня все это получается.

11
00:01:25,760 --> 00:01:28,940
Немножечко о Цезарусе и о нашей боли.

12
00:01:30,020 --> 00:01:35,720
Цезарусу в целом слегка просто прояснить, чтобы уточнить некоторые термины.

13
00:01:36,520 --> 00:01:42,180
Статический анализ, он обычно производится автоматизированы статическими анализаторами,

14
00:01:42,540 --> 00:01:49,860
они ходят по году, по колду, и говорят, что вот здесь у нас подозрение на такой трикос, здесь такой трикос.

15
00:01:49,860 --> 00:01:52,760
И все это складывают в концентратор.

16
00:01:52,760 --> 00:01:59,420
Ну а в концентраторе необходимо понять, что реально ли это срабатывание? Скорее всего нет.

17
00:01:59,420 --> 00:02:19,580
И до этого этим занимаются в основном чисто люди, местные люди, которые такие, ну ты врешь, ну просто по статистике, то есть любой статистике, у кого не спрашивать, от 95 до 98% срабатывания со сна, оно ложное.

18
00:02:19,580 --> 00:02:31,800
Мы не хотим, чтобы у нас кровоточили глаза, поэтому эта тема в целом сейчас достаточно востребована, и поэтому мы как раз в нее погружаемся.

19
00:02:36,180 --> 00:02:48,420
Что, собственно, немного спойлеров, и что вы узнаете, и что потом вполне можно будет забрать с собой.

20
00:02:49,580 --> 00:03:06,260
Это базовые тейки, которым стоит руководство при работе с LLM-правдами и на небольших моделях точно.

21
00:03:06,260 --> 00:03:17,900
Как минимум стоит сказать, что идея с доработкой небольших правдов для малых моделей, у меня на 4080, дома поднимается контекст до 8000 токенов.

22
00:03:17,900 --> 00:03:25,140
Это не так много. Вы туда полный трассу можете не загнать при каком-то суперпроедайности.

23
00:03:25,140 --> 00:03:31,660
Поэтому приходится изобретать, и я этим занимаюсь. И мы в том числе.

24
00:03:31,660 --> 00:03:39,900
Соответственно, будет несколько тейков, к которым я пришел. Скажу, как я к ним пришел, это тоже возительно.

25
00:03:39,900 --> 00:03:46,140
И как я приходил к этим фейкам, потому что есть одна статья

26
00:03:46,140 --> 00:03:50,720
на Тиму Зира Фоллс конца 25 октября 25-го года, естественно

27
00:03:50,720 --> 00:03:54,360
китайцев, про то, как они неправдали, донастраивали

28
00:03:54,360 --> 00:03:55,360
большие модели.

29
00:03:55,360 --> 00:03:57,360
И у них тоже получалось.

30
00:03:57,360 --> 00:03:59,820
Я такой, ну у меня малая модель, у меня, конечно,

31
00:03:59,820 --> 00:04:02,860
меньше, чем у них, но почему вы не попробовали, как

32
00:04:02,860 --> 00:04:03,860
это получилось.

33
00:04:03,860 --> 00:04:08,060
Соответственно, я расскажу в ближайшие 15 минут, я расскажу,

34
00:04:08,060 --> 00:04:13,560
я пришел к этим дыкам, ну и немножечко покажу результат.

35
00:04:13,560 --> 00:04:17,060
Значит, да, немножечко опять же от теста в онстенде,

36
00:04:17,060 --> 00:04:19,060
к чему пришли.

37
00:04:19,060 --> 00:04:24,060
Ну, на видео я сказал, откуда взялась в LLM, было выбрано

38
00:04:24,060 --> 00:04:27,060
потому что, ну, я когда начинал все это изучать, я спрашивал

39
00:04:27,060 --> 00:04:30,060
на чат-наприк, чатчик, у меня вот такая конфигурация,

40
00:04:30,060 --> 00:04:33,060
как мне в капли, не в капуктер поиграть, а LLM, наверное,

41
00:04:33,060 --> 00:04:37,060
запустить, он такой, ну вот, делает так, я так, ну окей.

42
00:04:37,060 --> 00:04:45,300
Ну, так начиналось, так, друг говоря, год назад. Полгода назад я уже понимал, как устраивать инфиренс у себя.

43
00:04:45,300 --> 00:04:49,080
Другое дело в том, что мне были нужны специфические штуки.

44
00:04:49,080 --> 00:05:00,580
И специфические штуки я собрал ансамбль с 10 моделей и подавал какие-то бэч задачи, которые я отравливал.

45
00:05:00,580 --> 00:05:06,580
И дальше просто эвристически, статистически оценивал. Оно норм, не норм, вообще заходит, не заходит.

46
00:05:06,580 --> 00:05:09,020
Ну, то есть, для начала так, оно вообще работает.

47
00:05:10,160 --> 00:05:15,780
И к этой модели на своем железе я пришел, ну, эвалистически.

48
00:05:15,880 --> 00:05:20,840
Было еще сравнение с квеном на три, но почему-то всегда на тех же задачах показывают хуже.

49
00:05:20,840 --> 00:05:26,660
И это, кстати, наверное, потому, что как раз, заберем я чуть вперед,

50
00:05:26,800 --> 00:05:32,540
общий подход, есть руководящие какие-то направления, которые стоит брать,

51
00:05:32,780 --> 00:05:36,160
но конкретные промты под разные модели, они могут уже отличаться.

52
00:05:36,160 --> 00:05:41,260
Поэтому, если вы меняете модель, то тоже надо, скорее всего, маленькую модель.

53
00:05:41,260 --> 00:05:43,260
То есть про маленькую модель речь.

54
00:05:43,260 --> 00:05:47,400
Вот, ну, приблизительно такое значение.

55
00:05:47,400 --> 00:05:53,040
Секунду походило на одно решение, ну, один акт тряжа.

56
00:05:53,040 --> 00:05:58,480
И, ну да, ну и почему небольшие модели в целом используются?

57
00:05:58,480 --> 00:06:07,480
Потому что выход за периметр, ну нельзя всякое такое, не что еще сказать.

58
00:06:10,480 --> 00:06:16,480
Ну и снизу слайда представлен наш текущий pipeline.

59
00:06:17,480 --> 00:06:20,480
Мне организаторы скидывали одну идейку, как его расширить.

60
00:06:20,480 --> 00:06:24,480
Ну в общем, будем расширять и потенциально будет здорово.

61
00:06:24,480 --> 00:06:27,480
Но пока работает достаточно тривайно.

62
00:06:27,480 --> 00:06:30,480
Взять лишние загребраторы, выстроить чек регулярками.

63
00:06:30,480 --> 00:06:41,480
Это, кстати, важно, потому что повышает где-то на 30% продуктивность, по крайней мере, юристиками разбирать половину уязвимости.

64
00:06:41,480 --> 00:06:43,480
Не уязвимости, дефекты.

65
00:06:43,480 --> 00:06:45,480
Ну, буду оговаривать.

66
00:06:45,480 --> 00:06:48,480
Это работа с какими-то корректарными секретами.

67
00:06:48,480 --> 00:06:57,260
И очень часто там просто, во-первых, регулярно позволяют формировать input еще и для локальной небольшой модели,

68
00:06:57,260 --> 00:06:59,640
по уточнять, я про это расскажу.

69
00:06:59,640 --> 00:07:06,320
Ну и, эгоистики помогают зачастую просто отсеивать какую-то такую базовую базу,

70
00:07:06,320 --> 00:07:10,240
типа Yala Token, которые идут в тигурных кавычках,

71
00:07:10,240 --> 00:07:14,240
и сразу фигняют где-то там, кстати, как влажалось.

72
00:07:14,240 --> 00:07:22,240
Дальше LLM тряжет, то есть принимает на вход промп из трассы из галригатора,

73
00:07:22,240 --> 00:07:27,240
плюс, возможно, хьюристик причек, плюс удар.

74
00:07:27,240 --> 00:07:33,240
Ну и обязательно все с джейсоном. Это отдельный момент, потому что, короче говоря,

75
00:07:33,240 --> 00:07:39,240
если модель не умеет работать с джейсонами, а так и есть, они вроде и думают хорошо, и тебе что-то рассказывают,

76
00:07:39,240 --> 00:07:46,240
Но в итоге ты каши с ней не сваришь, потому что, думаю, что ты будешь делать с ее философией на месте строительства.

77
00:07:46,240 --> 00:07:54,240
Ну и дальше принимаем вердикт и отправляем его назад на герегату.

78
00:07:54,240 --> 00:08:02,240
Собственно, эволюция. С чего начиналось? С декады. Как раз я прицеливаюсь к первому...

79
00:08:02,240 --> 00:08:09,960
Как раз почему короткие промпты, давайте об этом скажем.

80
00:08:09,960 --> 00:08:15,360
То, что модель – это быстрый, но баншевоуздающий джун.

81
00:08:15,360 --> 00:08:18,940
А промп – это как раз он обогащает контекст, и

82
00:08:18,940 --> 00:08:21,280
в целом за счет обогащения контекста можно добиваться

83
00:08:21,280 --> 00:08:24,280
от его реальных решений задач.

84
00:08:24,280 --> 00:08:29,260
Просто формирование конкретных контекстов для

85
00:08:29,260 --> 00:08:35,440
конкретной модели, это получается у нас немножечко такое искусство-ремесло, потому что каждая модель

86
00:08:35,440 --> 00:08:41,880
индивидуальна в этом плане, даже если она конерская. И что еще хотелось бы здесь добавить,

87
00:08:41,880 --> 00:08:48,180
как раз вы расширяете эту тему, то что абсолютно общего, универсального подхода к формированию

88
00:08:48,180 --> 00:08:53,580
конкретных промплов, его нет. В общем случае задачи, скорее, не разрешимы. То есть вы можете в целом

89
00:08:53,580 --> 00:08:58,080
споследовать каким-нибудь подходом, работа не заканчивается.

90
00:08:58,080 --> 00:09:03,080
Ну а дальше уже, вот, ну это как раз первая версия, что происходило.

91
00:09:03,580 --> 00:09:07,960
Опять же, с хардкодами начинали работать, и модель, когда она вообще, ну, то есть,

92
00:09:08,080 --> 00:09:14,020
ты отдаешься ролдату, она любые, там, какие-то большие числа, все это хардкод и прочее,

93
00:09:14,360 --> 00:09:17,020
то есть она распознавалась. Здесь как раз начались небольшие промты.

94
00:09:17,540 --> 00:09:20,780
Ну и дальше потихонечку как раз можете наблюдать эволюцию.

95
00:09:20,780 --> 00:09:32,780
Это как раз первый слайд, первый из двух, которые идут к уточнению тейка о том, что очень полезны

96
00:09:32,780 --> 00:09:42,380
при чеке хевристические для моделей. Второе, структура. Опять же, можно помогать моделям на

97
00:09:42,380 --> 00:09:47,500
основании херистик, причеков и в целом ролл дата, который

98
00:09:47,500 --> 00:09:49,980
в нее передается, то есть трассы вот этого всего, чтобы

99
00:09:49,980 --> 00:09:51,160
срабатывание не было.

100
00:09:51,880 --> 00:09:54,600
То есть не давать им, а что ты об этом думаешь,

101
00:09:55,240 --> 00:09:59,360
а передавать только там, когда есть какие-то эмкеры.

102
00:09:59,360 --> 00:10:03,680
И на основании их строить логику, что ты должна думать

103
00:10:03,680 --> 00:10:05,680
так в данном случае, дорогушек.

104
00:10:06,020 --> 00:10:08,700
Ну и вот, соответственно, как на основании этих человек

105
00:10:08,700 --> 00:10:09,680
принимать решение.

106
00:10:09,680 --> 00:10:22,220
качество получается. Так, вот следующее. Значит, в марте случился большой косяк, вроде как модель

107
00:10:22,220 --> 00:10:29,400
работает качественно, однако в какой-то момент я говорю, ну вроде качественно, оказалось не очень

108
00:10:29,400 --> 00:10:36,740
качественно, и вот этот секрет оказалось со статусом полос-позитив, когда они были, потому что там

109
00:10:36,740 --> 00:10:39,120
еще одно важное замечание,

110
00:10:39,120 --> 00:10:40,940
как бы допустим, если вы меняете

111
00:10:40,940 --> 00:10:42,900
политику, либо

112
00:10:42,900 --> 00:10:45,000
меняете часть правдов

113
00:10:45,000 --> 00:10:46,800
и часть правдов придется

114
00:10:46,800 --> 00:10:49,260
выкидывать. У нас был момент,

115
00:10:49,360 --> 00:10:50,500
когда сначала вы говорили,

116
00:10:50,780 --> 00:10:52,580
ну если это не правд, то фикс-им,

117
00:10:52,760 --> 00:10:55,080
то фонс-позит, а правд и поэтому поймали.

118
00:10:55,560 --> 00:10:57,020
Не поймали, как выяснилось.

119
00:10:57,380 --> 00:10:58,700
Поэтому сейчас у нас просто

120
00:10:58,700 --> 00:11:00,140
идет понижение

121
00:11:00,140 --> 00:11:02,680
критичности нового приоритета

122
00:11:02,680 --> 00:11:04,420
с прорабатывания.

123
00:11:04,420 --> 00:11:07,420
Что еще добавить?

124
00:11:07,420 --> 00:11:11,040
Соответственно, из-за этого мы как раз натолкнулись

125
00:11:11,040 --> 00:11:15,040
на следующее изменение.

126
00:11:15,040 --> 00:11:19,260
Ну вот как раз про downgrade я сказал, то, что про анолн

127
00:11:19,260 --> 00:11:23,880
я не упоминал, но есть такой момент, что модели зачастую,

128
00:11:23,880 --> 00:11:25,880
если сомневаются, если у них недостаточно в картных

129
00:11:25,880 --> 00:11:28,880
данных, то даже большие модели, просто не ссвятая

130
00:11:28,880 --> 00:11:32,580
большая модель, она не горела, она такая на 90% чего

131
00:11:32,580 --> 00:11:38,580
Я не знаю, этому не училась. Поэтому даже большим моделям нужно как минимум...

132
00:11:38,580 --> 00:11:43,580
Системный проф, понятно, но даже на его основе она не сильно не может вывозить.

133
00:11:43,580 --> 00:11:50,580
Обязательный момент – это регулярная, скажем так, децентрация больших моделей на то, что вы можете.

134
00:11:50,580 --> 00:11:54,580
Типа какую-то дату изнутри вещь, и вы не можете отдавать.

135
00:11:54,580 --> 00:11:59,580
А вот давай подумаем, что у нас были такие результаты срабатывания,

136
00:11:59,580 --> 00:12:05,180
то мы можем просто поправить в системе квен или чатик, а можно подумать, как улучшить наши промты.

137
00:12:05,180 --> 00:12:07,900
Потому что у нас есть такие срабатывания.

138
00:12:08,300 --> 00:12:12,860
И что еще здесь стоит добавить, то что стоит иметь какой-то размеченный ground truth,

139
00:12:13,300 --> 00:12:19,380
размеченный, то есть это тоже вот тряженный, а ground truth – это истинный срабатывание,

140
00:12:19,460 --> 00:12:20,620
то, что мы считаем истиной.

141
00:12:20,940 --> 00:12:25,380
Человек есть мера всех вещей, и только то, что мы называем истиной, является истиной.

142
00:12:25,380 --> 00:12:34,380
И если модель начинает с этим соглашаться с результатами треажа, значит мы считаем, что она ведет себя хорошо.

143
00:12:34,380 --> 00:12:43,380
Дальше. Тут мы переходим как раз к тому, что я говорил.

144
00:12:43,380 --> 00:12:54,380
Разделяем классы. То, что для принятия решений по CSS SQL, Ninja и Xe зачастую

145
00:12:54,380 --> 00:13:00,380
Роу дата много, то есть кода из...

146
00:13:00,380 --> 00:13:05,380
Ну вот, в общем, кода, который передавался в качестве трассы,

147
00:13:05,380 --> 00:13:10,380
какие-то симки не доходят, или наоборот, в коды не доходят,

148
00:13:10,380 --> 00:13:13,380
и, соответственно, модель начинает сомневаться.

149
00:13:13,380 --> 00:13:17,380
Поэтому создаём какая-то эвристика на основании кода.

150
00:13:17,380 --> 00:13:27,880
видишь и x, y, z, и вот они в подобной форме, то тогда мы склоняем решение в сторону confirmed или на вам от фолза.

151
00:13:27,880 --> 00:13:42,380
И значение вот этих результатов, они получены не от балды. Это как ретриаж на ground truth, то есть повторный анализ того, что истинное срабатывание,

152
00:13:42,380 --> 00:13:49,380
И потихоньку качество VHS вообще ничего не знает постоянно, а «ноу», до уверенных совпадений.

153
00:13:53,380 --> 00:14:05,380
Ну и вот здесь как раз эволюция кейса как раз по «ноу», «в-кэшу» — это одновременный гибрид того, что мы как раз не проследили за политиками,

154
00:14:05,380 --> 00:14:12,380
и некоторые изменения правдов в соответствии для того, чтобы получить требуемый результат.

155
00:14:12,380 --> 00:14:18,380
Потому что политики и организации могут отличаться от политиков вас.

156
00:14:18,380 --> 00:14:24,600
И типа, ну, да, а нам там, на КТТП юсиш побуг, и еще что-то.

157
00:14:24,600 --> 00:14:28,200
И вот за счет этого приходится докручивать правды, чтобы

158
00:14:28,200 --> 00:14:31,200
разгребать обе конюшни.

159
00:14:31,200 --> 00:14:35,760
Ну и за правдами, в данном случае, политиками нужно

160
00:14:35,760 --> 00:14:36,760
следить и совмещать.

161
00:14:36,760 --> 00:14:42,160
Ну и да, в итоге получилось, ну, Крикому это то, что, ну,

162
00:14:42,160 --> 00:14:54,100
корректно распознавала истинность на наборе истинных срабатываний, в данном случае мы их суммируем, и фаузов,

163
00:14:54,100 --> 00:15:02,600
то есть проект, который рекорд считает. Ну и независимая проект, не знаю почему так назвался.

164
00:15:02,600 --> 00:15:07,600
Так, вы можете видеть согласие agreement.

165
00:15:07,600 --> 00:15:13,600
Здесь 40 случаев, то есть у нас набор из 88 решений,

166
00:15:13,600 --> 00:15:17,600
половина из них фалзы, половина из них конференда,

167
00:15:17,600 --> 00:15:26,600
и вы видите вот такие сравнения с грандтургом человеческим.

168
00:15:26,600 --> 00:15:31,600
Вы получились вот такие показатели, когда вначале они были совсем печальные.

169
00:15:31,600 --> 00:15:35,840
Есть, конечно, расхождения, но это как примеры того,

170
00:15:35,840 --> 00:15:40,440
что, например, модель была права, а не я.

171
00:15:40,440 --> 00:15:44,240
Или человек, ну может это было и я.

172
00:15:44,240 --> 00:15:52,180
Или вот, короче говоря, необходимо как раз еженедельно

173
00:15:52,180 --> 00:15:54,720
это респотер про авто, про копание, докапывание

174
00:15:54,720 --> 00:15:59,020
машин, это такая рутина, с которой предстоит взаимодействие.

175
00:15:59,020 --> 00:16:13,300
Есть у меня видос того, как происходит тряж, но у нас не красивые гуи, а не красивые все лайки.

176
00:16:13,300 --> 00:16:24,340
Здесь можно в целом наблюдать, как запуск команды, начало фрации и дополнительного проекта, который передается модель.

177
00:16:24,340 --> 00:16:30,580
соответственно, дальше она какое-то время думает, вращается библок, и потом она выдаёт ответ,

178
00:16:30,580 --> 00:16:36,460
который будет, ну, то есть она выдаёт не только там confirm, но и то, что она надумала, то есть статус,

179
00:16:36,460 --> 00:16:41,860
который присвоит этому issue, с этим, то есть автоматизация описания для разраблений,

180
00:16:41,860 --> 00:16:47,920
а что делать. Потенциально мы думаем, как это потом, дополнительно. Ну и как в целом выглядит

181
00:16:47,920 --> 00:16:52,160
результат сессии, даты, токены считаются.

182
00:16:52,160 --> 00:16:54,160
Вот тут все необходимое.

183
00:16:54,160 --> 00:16:58,320
Сбор статов отправляются в базы, то есть не наблюдаем

184
00:16:58,320 --> 00:17:02,420
за этим, чтобы потенциально можно было перетарять.

185
00:17:02,420 --> 00:17:06,420
Обязательно обратная связь должна присутствовать

186
00:17:06,420 --> 00:17:07,420
в таких процессах.

187
00:17:07,420 --> 00:17:14,320
Давайте еще раз повторим то, что я в целом рассказала,

188
00:17:14,320 --> 00:17:21,320
Зачем трогать задачу для того, чтобы в целом можно было на меньшее количество юристиков не кормят модель у лишней информации.

189
00:17:21,320 --> 00:17:25,320
То есть, у лишней информации, она реально лишней.

190
00:17:25,320 --> 00:17:33,320
В целом, рассказал, зачем используются схемы увеличения качества мышления моделей.

191
00:17:33,320 --> 00:17:42,500
В частности, они строятся на тех же эвристиках для ЛН, которые позволяют ускорить процесс самоутриажа,

192
00:17:42,500 --> 00:17:48,500
откидывая некорректные срабатывания на причеке.

193
00:17:48,500 --> 00:17:56,480
Ну и как раз как раз обязательно нужно обладать каким-то эталоном, которому вы доверяете,

194
00:17:56,480 --> 00:18:01,640
которые считаете истиной, которые можно разгонять, и потом, то есть,

195
00:18:01,640 --> 00:18:06,200
приотраживать человеком за моделью можно, и потом, когда вы его выбираете,

196
00:18:06,200 --> 00:18:12,260
то у вас получается более как бы solid base для того, чтобы обучать, ну, в данном случае,

197
00:18:12,260 --> 00:18:19,400
да, вы что не говорите, да, раскачивайте, прокачивайте промо. Вот. Ну а, да, ну и что в целом,

198
00:18:19,400 --> 00:18:24,980
Я общался с начальством, и в целом кое-чем я смогу поделиться.

199
00:18:25,760 --> 00:18:34,460
Потому что есть система про революции, про то для некоторых СМЭ,

200
00:18:34,460 --> 00:18:40,160
ну и какую-то более интересную выкладку получился создать.

201
00:18:40,300 --> 00:18:45,500
В целом что-то постараюсь, ну и потом, если кому будет интереснее, есть контакты, можно будет со мной поменяться.

202
00:18:45,500 --> 00:18:57,860
И что как раз я вначале сказал, на основании чего, во-первых, я эти деки сформулировал, и в целом, иногда вы за деревьями теряете лес.

203
00:18:58,640 --> 00:19:11,940
А я, опять же, без влезания в какую-то приватную дату, я дал модели посмотреть, что получилось с пулами, ушами, прантов на дождь лав.

204
00:19:11,940 --> 00:19:22,340
И Матвей мне сказал, смотри, чувак, ты добился вот этого. И перечислил как бы, что и почему. Я говорю, что я это сделал. Мне так плохо.

205
00:19:22,340 --> 00:19:32,740
Потому что я ежедельно эту раутину делал, потому что видел, что она с числовых значения повышает качество.

206
00:19:32,740 --> 00:19:37,740
Ну а так и от некоторых причинственных связей все успевало задуматься.

207
00:19:37,740 --> 00:19:47,740
И если у вас есть какие-то вопросы, здесь должно было быть видео, но... да ладно.

208
00:19:47,740 --> 00:19:54,740
Ну ладно, там...

209
00:19:54,740 --> 00:20:11,740
Ну, поскольку мы столько говорили про Киберпанк,

210
00:20:11,740 --> 00:20:16,740
то основной Джонни, правда, мне нет.

211
00:20:16,740 --> 00:20:27,920
В общем, вы поняли. Спасибо еще раз за внимание.

212
00:20:27,920 --> 00:20:28,920
Спасибо.

213
00:20:28,920 --> 00:20:30,920
Если вы хотите работать, то вы хотите работать.

214
00:20:30,920 --> 00:20:36,920
Я, конечно, что-то не услышал издания, прошу прощения.

215
00:20:36,920 --> 00:20:42,920
Я так понимаю, здесь в его презентации речь шла о локальном разворачивании.

216
00:20:42,920 --> 00:20:47,920
Да, да, да. Он на локальном разворачивании 40-80 я поднимал к военному.

217
00:20:47,920 --> 00:20:53,920
Хорошо. Тогда вопрос в следующем.

218
00:20:53,920 --> 00:21:00,920
Как лучше обучать модель?

219
00:21:00,920 --> 00:21:05,920
Смотрите, я прошу прощения, что вы понимаете, как обучать?

220
00:21:05,920 --> 00:21:08,920
На этот вопрос я не готов сразу ответить, потому что я ее не обучал.

221
00:21:08,920 --> 00:21:10,920
Я выбирал из присутствующих на рынке.

222
00:21:10,920 --> 00:21:14,920
Мне интересно покупаться с обучением и реком,

223
00:21:14,920 --> 00:21:16,920
и это у меня есть моё таз-клистья.

224
00:21:16,920 --> 00:21:18,920
Я надеюсь, что посмотреть, и раз увидимся.

225
00:21:18,920 --> 00:21:20,920
Очень симпатичный.

226
00:21:20,920 --> 00:21:27,920
Да, но, другой того, что на эти вопросы я пока не готов ответить, потому что у меня нет компетентных данных.

227
00:21:27,920 --> 00:21:29,920
Хорошо, спасибо.

228
00:21:29,920 --> 00:21:30,920
Спасибо за вопрос.

229
00:21:30,920 --> 00:21:32,920
Спасибо за доклад.

230
00:21:32,920 --> 00:21:37,920
Был вопрос, пробовали ли ты аналогичные модели, которые обеспечили?

231
00:21:37,920 --> 00:21:38,920
Да, да, да.

232
00:21:38,920 --> 00:21:39,920
Говно.

233
00:21:39,920 --> 00:21:42,920
Говно, потому что и лайнер, и условно, и на деле?

234
00:21:42,920 --> 00:21:45,920
потому что они выдают галлы.

235
00:21:45,920 --> 00:21:48,920
Они по метрикам, то есть нужно...

236
00:21:48,920 --> 00:21:51,920
Я пробовал их для генерации...

237
00:21:51,920 --> 00:21:54,920
Я пробовал их для генерации...

238
00:21:54,920 --> 00:21:58,920
Сейчас...

239
00:21:58,920 --> 00:22:01,920
Короче говоря, ну...

240
00:22:01,920 --> 00:22:03,920
Эксплойт.

241
00:22:03,920 --> 00:22:05,920
На генерации эксплойтов.

242
00:22:05,920 --> 00:22:11,920
И дальше я шел, вот локальный модель, я шел на тот же самый Венеция.

243
00:22:11,920 --> 00:22:17,620
Вайли Саи, который нормально к этому относится, спрашивал, что это говно, я шел к чату,

244
00:22:17,620 --> 00:22:23,620
ну это вообще полный парашют, здесь есть какая-то логика, но оно не будет запуститься.

245
00:22:23,620 --> 00:22:32,080
Поэтому да, я рассматривал модели и тут, по моему опыту, не знаю, может быть нужно более депсики,

246
00:22:32,080 --> 00:22:39,100
думающие всякие думающие штуки, логика у них присутствует, но их нужно именно обучать,

247
00:22:39,100 --> 00:22:50,920
работают с туманом джейсона то есть обязаны такие здесь здесь развиваться текущий

248
00:22:50,920 --> 00:22:51,920
— Спасибо.

249
00:22:51,920 --> 00:22:56,140
— Абезцензурные модели — это такая же штука, что они

250
00:22:56,140 --> 00:22:59,920
зачастую сломанные и очень сложно найти хоть что-то

251
00:22:59,920 --> 00:23:00,920
рабочее.

252
00:23:00,920 --> 00:23:08,040
— Просто дело в том, что обезцензурную модель необходимо сразу

253
00:23:08,040 --> 00:23:09,920
проектировать безцензурной.

254
00:23:09,920 --> 00:23:13,920
Потому что наличие модели сейфгардов делает ее тупее.

255
00:23:13,920 --> 00:23:16,540
Но когда ты убираешь эти сейфгарды, у тебя состояние

256
00:23:16,540 --> 00:23:17,540
весов нарушается.

257
00:23:17,540 --> 00:23:21,780
потому что это все в год они оказывают влияние на висай

258
00:23:21,780 --> 00:23:24,420
спасибо большое

259
00:23:24,420 --> 00:23:32,420
вопрос какой

260
00:23:32,420 --> 00:23:45,420
как начальство относилось к тому, что закрытую инфраструктуру, критическая информация, она передается модели, которые в принципе просто неизвестно что так

261
00:23:45,420 --> 00:23:51,580
Модель разворачивается локально.

262
00:23:51,580 --> 00:23:53,480
Да, но что там в этой модели?

263
00:23:53,480 --> 00:23:56,480
С точки зрения безопасности.

264
00:23:56,480 --> 00:23:58,480
Что в этой модели?

265
00:23:58,480 --> 00:24:02,480
Когда вы запускаете, у нее нет сториджа.

266
00:24:02,480 --> 00:24:04,480
Модель – это просто веса.

267
00:24:04,480 --> 00:24:08,540
Она не обучается вам варшебным образом на данных, которые

268
00:24:08,540 --> 00:24:09,540
вы мне передаете.

269
00:24:09,540 --> 00:24:15,320
Чтобы обучать модель, ей хотя бы low-ranked adaptation

270
00:24:15,320 --> 00:24:16,640
попровести.

271
00:24:16,640 --> 00:24:22,760
К моему железу могут быть гипотетические вопросы.

272
00:24:22,760 --> 00:24:24,500
Одна как это, другое.

273
00:24:24,800 --> 00:24:28,700
А в рамках модели, ну ей передаются данные.

274
00:24:28,780 --> 00:24:34,620
Она тут как, фильм какой-нибудь, не приходит на ум, но она

275
00:24:34,620 --> 00:24:37,560
подумала, подумала, она выключилась, инференция

276
00:24:37,560 --> 00:24:38,620
остается, все, ладно.

277
00:24:39,060 --> 00:24:42,220
Нет, здесь вопрос скорее, как объяснить начальству.

278
00:24:42,220 --> 00:24:49,220
Мое непосредственное начальство мне это санкционировало.

279
00:24:49,220 --> 00:24:55,220
Я вот на работу не строился, потому что типа я тряжу на локальных моделях.

280
00:24:55,220 --> 00:24:59,220
Это интересно, давайте это пусть слева.

281
00:24:59,220 --> 00:25:05,220
Здравствуйте.

282
00:25:05,220 --> 00:25:07,220
Такой вопрос.

283
00:25:07,220 --> 00:25:12,220
Сколько вообще это обнимает памяти для локальных моделей,

284
00:25:12,220 --> 00:25:19,220
потому что, допустим, это был Собсенопад на многих задачах

285
00:25:19,220 --> 00:25:23,220
оскорнивлазиям. Соответственно, может быть, я помню про Фуперпан,

286
00:25:23,220 --> 00:25:27,220
почему Собсенопад получился, может, посмотреть на сторону Этласа и Железа.

287
00:25:27,220 --> 00:25:43,260
Сейчас идет сбор репрезентационных данных, на которых можно будет купить мне Apple, купите мне 50-80, купите мне классно.

288
00:25:43,260 --> 00:25:51,440
Но сейчас дело в том, что кое-кто собирается выявлять трафик телеграмма лн-н-ками.

289
00:25:51,440 --> 00:25:53,440
Я тогда чуть...

290
00:25:53,440 --> 00:25:55,440
Если бы на Байкалах собрались,

291
00:25:55,440 --> 00:25:57,440
имфиренс проводить,

292
00:25:57,440 --> 00:25:59,440
который тоже тайваньский.

293
00:25:59,440 --> 00:26:01,440
Ну, ребят, ну как...

294
00:26:01,440 --> 00:26:03,440
Железный стоит космос,

295
00:26:03,440 --> 00:26:05,440
его покупку нужно обосновывать.

296
00:26:05,440 --> 00:26:07,440
И...

297
00:26:07,440 --> 00:26:09,440
Хорошо, спасибо. И тогда

298
00:26:09,440 --> 00:26:11,440
второй вопрос.

299
00:26:11,440 --> 00:26:13,440
Получается, сессия...

300
00:26:13,440 --> 00:26:15,440
Насколько длинные были сессии?

301
00:26:15,440 --> 00:26:17,440
Например, когда мы запускаем

302
00:26:17,440 --> 00:26:18,440
Секрептим.

303
00:26:18,440 --> 00:26:19,440
Секрептим.

304
00:26:19,440 --> 00:26:20,440
Секрептим.

305
00:26:20,440 --> 00:26:21,440
Секрептим.

306
00:26:21,440 --> 00:26:22,440
Секрептим.

307
00:26:22,440 --> 00:26:23,440
Секрептим.

308
00:26:23,440 --> 00:26:24,440
Секрептим.

309
00:26:24,440 --> 00:26:25,440
Секрептим.

310
00:26:25,440 --> 00:26:26,440
Секрептим.

311
00:26:26,440 --> 00:26:27,440
Секрептим.

312
00:26:27,440 --> 00:26:28,440
Секрептим.

313
00:26:28,440 --> 00:26:29,440
Секрептим.

314
00:26:29,440 --> 00:26:30,440
Секрептим.

315
00:26:30,440 --> 00:26:31,440
Секрептим.

316
00:26:31,440 --> 00:26:32,440
Секрептим.

317
00:26:32,440 --> 00:26:33,440
Секрептим.

318
00:26:33,440 --> 00:26:34,440
Секрептим.

319
00:26:34,440 --> 00:26:35,440
Секрептим.

320
00:26:35,440 --> 00:26:36,440
Секрептим.

321
00:26:36,440 --> 00:26:37,440
Секрептим.

322
00:26:37,440 --> 00:26:38,440
Секрептим.

323
00:26:38,440 --> 00:26:39,440
Секрептим.

324
00:26:39,440 --> 00:26:40,440
Секрептим.

325
00:26:40,440 --> 00:26:41,440
Секрептим.

326
00:26:41,440 --> 00:26:53,440
здесь отсутствует накапливаемый гром, то есть это inference на fast-op, на VLVN.

327
00:26:53,440 --> 00:26:58,440
То есть каждый новый запрос – это новый запрос, возможно, это не столь быстро получается.

328
00:26:58,440 --> 00:27:05,440
А так я оставил комплектом включенном на ночь, и там пять тысяч тряжей проводилось.

329
00:27:05,440 --> 00:27:17,320
Ну, сейчас в последнее время, ну, то есть медленнее, потому что обвес пошел, они стали там не только, ну, больше проктов, и опять же, не зависит от длинной контекста.

330
00:27:17,320 --> 00:27:24,640
А контекст у меня там максимум, я сумел на лугу, ну, на хронтование растянуть на 8192.

331
00:27:24,640 --> 00:27:29,240
Вот это вот максимум, что у меня вот взлетает, потому что у меня, смотри, такая жизнь.

332
00:27:29,240 --> 00:27:35,000
а макер минут у меня калибрая на 30 миллиардов параметров до изделка

333
00:27:35,000 --> 00:27:39,080
спасибо