Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.1 (2) След. > >>    Поиск:
Автор	Тема: unit tests from Ml classifiers
data Сообщений: 109	unit tests from Ml classifiers Добавлено: 22 янв 17 10:28 Изменено: 31 янв 17 6:37 Все кодеры знают, что тесты берегут нервишки, особенно когда проект расшаренный и невесть кто может внести изменения, но чаше всего опасность исходит от собственной персоны, особенно в попыхах когда что то делается, на скорость. Итак предлагаю обсудить тестирование таких “нечетких” сущностей как классификаторы, но результаты обсуждения наверняка можно обобщить будет и на другие структуры подобного порядка сложности, сперва нужно понять общие принципы. Первое что приходит в голову, это взять распространённую метрику качества, например accuracy и сравнить результат с приемлемым диапазоном, как для “правильно работающего алгоритма”. Но как очевидно здесь есть много подводных камней. Высказываемся… [Ответ][Цитата]
mserg Сообщений: 258	На: Тесты для классификаторов +1 Добавлено: 23 янв 17 1:20 Цитата: Автор: data Все кодеры знают, что тесты берегут нервишки, особенно когда проект расшаренный и невесть кто может внести изменения, но чаше всего опасность исходит от собственной персоны, особенно в попыхах когда что то делается, на скорость. Итак предлагаю обсудить тестирование таких “нечетких” сущностей как классификаторы, но результаты обсуждения наверняка можно обобщить будет и на другие структуры подобного порядка сложности, сперва нужно понять общие принципы. Первое что приходит в голову, это взять распространённую метрику качества, например accuracy и сравнить результат с приемлемым диапазоном, как для “правильно работающего алгоритма”. Но как очевидно здесь есть много подводных камней. Высказываемся… Технологически, защита от побочных эффектов коррекции кода, называется регрессионное тестирование. Для собственно проверки классификатора, потребуется репозиторий задач, на котором прогоняется программа после внесения изменений. И действительно, проверяются диапазоны точности классификации, количество сожранных ресурсов (память, суммарное процессорное время), а также собственное время классификации. И вообще, любые параметры, которые вычисляются при классификации. Если имеют место быть генерации случайных чисел, то при тестировании устанавливается seed. Аналогичные проблемы возникают у решателей (solver-ов) - после коррекции может поменяться само решение (если задача вырожденная), несколько поменяться оптимум (из-за погрешностей), одни задачи начинают решаться быстрее, другие медленнее, и т.д. Коррекция приложения не должна ухудшать средние характеристики программы. [Ответ][Цитата]
data Сообщений: 109	На: Тесты для классификаторов Добавлено: 23 янв 17 11:13 Изменено: 23 янв 17 11:13 Цитата: Автор: mserg Технологически, защита от побочных эффектов коррекции кода, называется регрессионное тестирование. Для собственно проверки классификатора, потребуется репозиторий задач, на котором прогоняется программа после внесения изменений. И действительно, проверяются диапазоны точности классификации, количество сожранных ресурсов (память, суммарное процессорное время), а также собственное время классификации. И вообще, любые параметры, которые вычисляются при классификации. Если имеют место быть генерации случайных чисел, то при тестировании устанавливается seed. Аналогичные проблемы возникают у решателей (solver-ов) - после коррекции может поменяться само решение (если задача вырожденная), несколько поменяться оптимум (из-за погрешностей), одни задачи начинают решаться быстрее, другие медленнее, и т.д. Коррекция приложения не должна ухудшать средние характеристики программы. Ага, в принципе можно, время и загрузку машинки тоже мерить, это верно. Кроме того наверно проверку нужно делать статистически, во много итераций с усреднением, так как например нейронки сходятся от раза к разу. Конечно если всё учесть то получится масштабно, нужно подумать как бы это упростить до некоторого оптимального минимума. [Ответ][Цитата]
Дмитрий Стволовой Сообщений: 350	На: Тесты для классификаторов +1 Добавлено: 25 янв 17 4:05 Цитата: Тесты для классификаторов Тесты нужны чтобы в основном ошибки программирования отлавливать, работает\не работает, при внесении правок, как правило простые ошибки, то о чем Вы толкуете несколько другое, ближе к оценке производительности, профилированию. Классификаторы нужно профилировать пот задачу всем скопом, сложно сказать какой из них в какой конфигурации окажется лучшим, нужен интерфейс сравнительного анализа классификаторов и их конфигураций. В этом контексте разработать метрики для сравнения. Но повторюсь это не совсем юнит-тесты(ru.wikipedia.org/wiki/Модульное_тестирование) если я правильно Вас понял. [Ответ][Цитата]
data Сообщений: 109	На: Тесты для классификаторов Добавлено: 26 янв 17 9:05 Цитата: Автор: Дмитрий Стволовой Тесты нужны чтобы в основном ошибки программирования отлавливать, работает\не работает, при внесении правок, как правило простые ошибки, то о чем Вы толкуете несколько другое, ближе к оценке производительности, профилированию. Классификаторы нужно профилировать пот задачу всем скопом, сложно сказать какой из них в какой конфигурации окажется лучшим, нужен интерфейс сравнительного анализа классификаторов и их конфигураций. В этом контексте разработать метрики для сравнения. Но повторюсь это не совсем юнит-тесты(ru.wikipedia.org/wiki/Модульное_тестирование) если я правильно Вас понял. Тоже верно. Пока я так и сделал, только скор проверяется, что бы в диапазон попадал, но потом добавлю и диапазоны ресурсоёмкости, хотя думаю это как минимум отдельным тестом, иначе не будет понятно, что же сломано. [Ответ][Цитата]
гость 95.211.205.*	На: Тесты для классификаторов Добавлено: 27 янв 17 8:45 Цитата: Тесты для классификаторов название темы неправильное, переименуйте в "unit tests from Ml classifiers" иначе не понятно конкретно о чем речь [Ответ][Цитата]
гость 64.137.178.*	На: Тесты для классификаторов Добавлено: 28 янв 17 7:32 Цитата: Автор: data Все кодеры знают, что тесты берегут нервишки, особенно когда проект расшаренный и невесть кто может внести изменения, но чаше всего опасность исходит от собственной персоны, особенно в попыхах когда что то делается, на скорость. Итак предлагаю обсудить тестирование таких “нечетких” сущностей как классификаторы, но результаты обсуждения наверняка можно обобщить будет и на другие структуры подобного порядка сложности, сперва нужно понять общие принципы. Первое что приходит в голову, это взять распространённую метрику качества, например accuracy и сравнить результат с приемлемым диапазоном, как для “правильно работающего алгоритма”. Но как очевидно здесь есть много подводных камней. Высказываемся… XOR [Ответ][Цитата]
data Сообщений: 109	На: Тесты для классификаторов Добавлено: 31 янв 17 6:37 Цитата: Автор: гость название темы неправильное, переименуйте в "unit tests from Ml classifiers" иначе не понятно конкретно о чем речь согласен [Ответ][Цитата]
гость 81.177.126.*	На: Тесты для классификаторов Добавлено: 31 янв 17 6:40 А... Data, он всегда останется как на аватарке? [Ответ][Цитата]
data Сообщений: 109	На: Тесты для классификаторов Добавлено: 31 янв 17 6:46 Изменено: 31 янв 17 6:49 Цитата: Автор: гость XOR Забавно, но именно XOR я использовал в начале для юнитов нелинейных классификаторов, но потом стал брать более хитрые датасеты [Ответ][Цитата]
гость 176.126.252.*	На: Тесты для классификаторов Добавлено: 31 янв 17 10:46 Цитата: Автор: data Забавно, но именно XOR я использовал в начале для юнитов нелинейных классификаторов, но потом стал брать более хитрые датасеты клёвый цветовой темплит, по автоподписям параметров методов, предположу что иде - идея, где взяли темплит? тоже такой хочу... [Ответ][Цитата]
гость 107.189.10.*	На: unit tests from Ml classifiers Добавлено: 09 янв 22 8:08 Цитата: Автор: data Все кодеры знают, что тесты берегут нервишки, особенно когда проект расшаренный и невесть кто может внести изменения, но чаше всего опасность исходит от собственной персоны, особенно в попыхах когда что то делается, на скорость. Итак предлагаю обсудить тестирование таких “нечетких” сущностей как классификаторы, но результаты обсуждения наверняка можно обобщить будет и на другие структуры подобного порядка сложности, сперва нужно понять общие принципы. Первое что приходит в голову, это взять распространённую метрику качества, например accuracy и сравнить результат с приемлемым диапазоном, как для “правильно работающего алгоритма”. Но как очевидно здесь есть много подводных камней. Высказываемся… Тесты дело не хитрое, житейское. Я вообще привык уже работать по TDD работать почти на все 100%, вначале плевался, потом привык, а сейчас в восторге. [Ответ][Цитата]
ignаt99 Сообщений: 153	На: unit tests from Ml classifiers Добавлено: 30 янв 25 3:58 Цитата: Автор: data Все кодеры знают, что тесты берегут нервишки, особенно когда проект расшаренный и невесть кто может внести изменения, но чаше всего опасность исходит от собственной персоны, особенно в попыхах когда что то делается, на скорость. Итак предлагаю обсудить тестирование таких “нечетких” сущностей как классификаторы, но результаты обсуждения наверняка можно обобщить будет и на другие структуры подобного порядка сложности, сперва нужно понять общие принципы. Первое что приходит в голову, это взять распространённую метрику качества, например accuracy и сравнить результат с приемлемым диапазоном, как для “правильно работающего алгоритма”. Но как очевидно здесь есть много подводных камней. Высказываемся… [Ответ][Цитата]
ignаt99 Сообщений: 153	На: unit tests from Ml classifiers Добавлено: 30 янв 25 4:00 Ахтунг! Малолетние. На этом форуме есть сразу пять виртуалов Веласкин и Стволовой и Бессмертный сложный, zzzz, ignat99. Но все дебилы, потому что думают что Верилог это язык проектирования железа. На самом деле HDL языки это просто приблуда, для упрощения проектирования говтовых миркосхем, где нужно развести только верхний слой. Вначале делается топология, а уже потом разрабатывается библиотека готовых элементов. На которой собирается устройство и уже опционально можно получить HDL код. Так вот Дмитрий Надёжин это даже не специалист по топологии, это специалист по CAD системам для автоматического размещения и трасировки топологии. Но рагулям это не понять, а картавые на этом форуме слишком дебилы без образования. Инструкция для умных (максимум 2 недели работы, но можно и за 5 рабочих дней): Берется перевод книги изданный в 1992 году "Интерактивная трехмерная машинная графика" автор Амеральд (оригинал 1986 год). Там в конце листинги на чистом Турбо Си Основное графическое окно с парсером ввода и фала и горячими клавишами D3D.C - 2160 строк Основные операции с графическим контроллером и шрифт встроенный. В Винтаж Стори есть лепка матричных форм из глины и ковка по шаблону. Как раз в точности по 8x11 матрице можно прямо в игровом процессе создавать растровые шрифты, ни чего не меняя в игровом процессе. GRPACK.C - 796 строк Аналого предыдущей библиотеки, но с потдержкой BGI (драйверов видеокарт Borland) GRPACK1.C - 397 строк Матрицы вращения векторов, которые образуют модель. TRAFO.C - 70 строк. Удаление скрытых линий. HLPFUN.C - 970 строк Распечатка экрана на принтере или графопостроителе HP с ESC последовательностями (и HP-GL) (актуальна до сих пор на производстве (можно переделать на G-код) - так как программы для ЧПУ очень схожи с форматом PS). Часть станков с ЧПУ управлятся до сих пор строго через COM порт и строго через Windows XP приложение - продукт модификации устаревших аппаратно контроллеров ЧПУ. PLOTHP.C - около 200 строк. Но если расширять для ЧПУ станка, то будет отдельный модуль. http://optic.cs.nstu.ru/files/CC/CompGraph/Lit/Shikin.pdf Е.В. Шикин, А.В. Боресков КОМПЬЮТЕРНАЯ ГРАФИКА _________________________________________________ динамика, реалистические изображения Вот в этой книге все про построение реалистичных изображения и обратную трасировку. Так же там база по потдержке всех стандартных графических драйверов. И использование stdlib и приимущества C++ для переопределения векторных операций, что уменьшает объем читаемого кода. Набираете, адаптируете к Фрейм Буферу ядра Линукс и вперед с песней. Производительность будет такая (если спрямить индексацию и ввести иерархию ситуационную), что современные графические карты позавидуют. Можно даже использовать механизм страничной адрессации и особенности DMA контроллеров. Отладить программу можно прямо в Турбо-С под DOS https://www.geeksforgeeks.org/how-to-install-turbo-c-on-linux/ sudo apt-get install dosbox Правильная русификация https://www.vogons.org/viewtopic.php?t=56032 После запуска скрипта русификации в любой директории, он создаст файл russian.txt, который вместе с путём к нему надо прописать в файле конфигурации dosbox. Переход между английским и русским левый и правые Alt-Shift. Потом частями запихиваете прямо в ПЛИС этот код если есть хорошая под рукой. Можно, конечно и современные графические карты приспособить, но обязательно на уровне прямого програмирования железа. Это уже дело техники. Если алгоритм готов и отлажен. То портирование можно поручить даже рагулю с образованием или какому нибудь картавому с опытом. Накосячить там сложно. Но все равно за такими персонажами нужен глаз да глаз. Если нужно сделать хорошо, то сделай это сам. Если каждая 1000 строчек кода набирается за 1 день. То всего набора текста программы дня на 4. Инструкция для тупых: Пройдите по любой из 12 ссылок ниже. Прочитайте хотя бы один абзац и задайте вопрос строго по прочитанному. Все сопли зависти публикуйте в других темах. Оглавление заметок об игровых моделях. Игровые модели как среда для развития ИИ. 1. Введение про крылья Бабочки (охватывает упругофотонику, электромагнетизм и сильнослабое взаимодействие) http://gotai.net/forum/Default.aspx?postid=354554#354554 http://gotai.net/forum/Default.aspx?postid=354737#354737 2. Передодическая структура глаза человека (сходная с крылом бабочки) http://gotai.net/forum/Default.aspx?postid=354778#354778 http://gotai.net/forum/Default.aspx?postid=354794#354794 3. Триангуляция Делоне http://gotai.net/forum/Default.aspx?postid=354811#354811 4. ДНК язык стурктуры 1-3 уровня http://gotai.net/forum/Default.aspx?postid=354834#354834 5. Геликатеноид как представление рабочего тела репарации ДНК http://gotai.net/forum/Default.aspx?postid=354788#354788 http://gotai.net/forum/Default.aspx?postid=354816#354816 6. Детали Сильно-Слабого взаимодействия в контексте механизмов репарации ДНК http://gotai.net/forum/Default.aspx?postid=354872#354872 7. Устройство наносборщика структур (Технология производства крыльев бабочек или сенсоров нового поколения с элементами квантово-фотонной логики) http://gotai.net/forum/Default.aspx?postid=354875#354875 http://gotai.net/forum/Default.aspx?postid=354966#354966 8. Внутри-газовые структуры http://gotai.net/forum/default.aspx?postid=354875#354875 9. Физико-химические процессы ниже уровня Кодонов или тритов http://gotai.net/forum/default.aspx?postid=354903#354903 10. 3 уровень Упорядоченные структуры клатратов как объединения особых геликоидов http://gotai.net/forum/default.aspx?postid=355030#355030 11. 4 уровень Фракталы и автогенерация ланшафта http://gotai.net/forum/default.aspx?postid=354966#354966 http://gotai.net/forum/default.aspx?postid=355104#355104 12. 5 уровень Словарная логика Томашик (или самовосстановление матриц Вавилонского языка) http://gotai.net/forum/default.aspx?postid=354964#354964 13. Дебильнейший ворпрос рагуля Дмитрия Стволового (виртуала рагуля) про диод http://gotai.net/forum/default.aspx?postid=354974#354974 Впрочем как раз процессы в Диоде проще всего визуализировать в структурах описанного выше типа. Когда заданы все правила, и найдены все физические законы. ИИ остается только выбирать оптимальные конфигурации структур. Сообственн выше это наподобие оглавления без деталей математики. А в описываемом выше случае, любой остовный граф покрывает например алгоритм трасировки света, тепла или других физических параметров. Таких как электрический ток или магнитное поле. [Ответ][Цитата]
ignаt99 Сообщений: 153	На: unit tests from Ml classifiers Добавлено: 30 янв 25 4:05 И да… все кто программирует на JAVA, есть те самые ДЖАВАРАСТЫ, как правило это рагули, их нужно лопатой пиздить по ебальнику, за то что подсиживают русских с севера и востока. [Ответ][Цитата]
Стр.1 (2): [1]  2 След. > >>