Программирование/математика

[yakov_a_jerkov]

На совсем другую тему. У меня есть вопрос об описании одного алгоритма. Я положу это все под кат.



Я читаю статью "Towards Open Set Deep Networks" с целью применить содержащуюся в этой статье идею для отбрасывание картинок, не принадлежащих ни к одному из классифицируемых классов.

Возможно, то, что это все для классификации, networks эти -- возможно, этого всего даже не нужно знать, чтобы ответить на мой вопрос.

Вроде бы, статья весьма просто написана, и идея, вроде, мне понятна -- по крайней мере, я думаю, что понятна. Но я не могу понять описанные в этой статье алгоритмы. Мне кажется, что дело в том, что я не понимаю notation, но может я и чего-то более фундаментального не понимаю. В общем, если кому-то написанное понятно, то я был бы благодарен за помощь.

Я вставлю сюда первый алгоритм, как картинку.



Я плохо понимаю значение i. x_i_j -- это что, все inputs, которые сеть классифицирует, как класс j? И, соответственно, S_i_j -- это что? Согласно определения, получается, что j-координата activation of x_i_j.

Дальше, mu_j -- это вектор или число? По идее, как я ее понимаю, должен быть вектор, но по определению вроде как число, или нет?

Что такое S_hat? Я нигде не вижу определения, вообще.

Идею я понимал так. Для каждого класса берем activation vectors всех inputs, которые сеть классифицирует как данный класс. По каждой координате отдельно вычисляем mean, и таким образом получаем mean activation vector для этого класса. А потом уже смотрим на distribution расстояний этих верно классифицированных inputs до mean activation vector.

Но сейчас я уже сомневаюсь, что правильно понял.

Comments

[yaceya.livejournal.com]

Скорее на то что это S является эмпирическим приближением построенном на имеющихся наблюдениях некой настоящей S существующей для всех возможных наблюдений. Но чисто из статьи это надёжно утверждать нельзя - надо смотреть ссылки. ну или прямо спросить автора раз он так талантливо забыл аннотировать то что пишет

[yakov-a-jerkov.livejournal.com]

Ну, по крайней мере, вы тоже считаете, что написано не очень ясно!

[yaceya.livejournal.com]

Я вижу что написано не ясно. Но не исключаю что в их узкой тусовке это стандарт типа F - кумулятивная функция, а F-hat - ее эмпирическое приближение. Это могло бы объяснить отсутсвие определения. Но тогда эту S вы должны были бы увидеть в любом введении в предмет.

[yakov-a-jerkov.livejournal.com]

Yeah, может быть, что и стандарт. Я потому и спросил, что может кто-то сразу узнает.

Мне, собственно, и до S_hat непонятно. Как я понимаю общую идею, я написал. Но, возможно, я ее не совсем правильно понимаю.

[yaceya.livejournal.com]

Упоминание extreme value fit наводит меня на мысль что речь может и вовсе идёт функциях. Т.е Может v_j(.) на выходе для каждого x_ij выдаёт функцию? Тогда и mu_j - это усреднённая функция. В общем, закругляюсь от бесполезности предположений не привязанных к контексту. Может кто-то непосредственно этим занимается или хотя бы почитывает

[yakov-a-jerkov.livejournal.com]

Нет, activation, v(x) -- это вектор с количеством координат равным количеству классов, которые сеть классифицирует. v(x) -- это то, что на выходе, на последнем шаге, грубо говоря, сеть смотрит какая координата имеет самое большое значение, и, если это координата j, то говорит, что картинка принадлежит к классу j.

Я изначально думал, что mu_j -- это среднее значение (покоординатно) всех activation vectors для класса j (правильно классифицированных inputs). Но сейчас уже не уверен.

[yaceya.livejournal.com]

FitHigh function to do Weibull fitting on the largest of the distances between all correct positive training instances and the associated μi.
Следовательно, я чуть более обоснованно могу предположить что функция принимает все значения в классе j и выдаёт максимальное. Если это так, то S-hat должно быть эмпирической функцией (построенной на значениях v_j(x_ij) ) от которых вычисляется расстояние до того самого muj. Но я бы задал прямой вопрос автору. Тем более я не знаком с этой малиной и их закидонами

[angerona.livejournal.com]

unlikely. S is a collection of vectors.

There is no "real S" (I think you are thinking of supervised learning, which I'm not sure this method falls into.)

[yakov-a-jerkov.livejournal.com]

It is definitely supervised. You have a labeled training set. That is how you know if an image is classified correctly.