Проектирование систем искусственного интеллекта

       

Метод наименьших квадратов


Перед тем, как начинать рассмотрение МГУА, было бы полезно вспомнить (или узнать впервые) метод наименьших квадратов — наиболее распространенный метод подстройки линейно зависимых параметров.

Рассмотрим для примера МНК для трех аргументов.

Пусть функция T=T(U, V, W) задана таблицей, то есть из опыта известны числа Ui, Vi, Wi, Ti ( i = 1, … , n). Будем искать зависимость между этими данными в виде:

T(U,V,W)=aU+bV+cW (4.43)

где a, b, c — неизвестные параметры.

Подберем значения этих параметров так, чтобы была наименьшей сумма квадратов уклонений опытных данных Ti и теоретических Ti = aUwi + bVi + cWi, то есть сумма:

Метод наименьших квадратов
(4.44)

Величина

Метод наименьших квадратов
является функцией трех переменных a, b, c. Необходимым и достаточным условием существования минимума этой функции является равенство нулю частных производных функции
Метод наименьших квадратов
по всем переменным, то есть:

Метод наименьших квадратов
(4.45)

Так как:

Метод наименьших квадратов
(4.46)

система для нахождения a, b, c будет иметь вид:

Метод наименьших квадратов
(4.47)

Данная система решается любым стандартным методом решения систем линейных уравнений (Гаусса, Жордана, Зейделя, Крамера).

Рассмотрим некоторые практические примеры нахождения приближающих функций.

  1. Метод наименьших квадратов

    Задача подбора коэффициентов

    Метод наименьших квадратов
    ,
    Метод наименьших квадратов
    ,
    Метод наименьших квадратов
    сводится к решению общей задачи при T=y, U=x2, V=x, W=1,
    Метод наименьших квадратов
    .

  2. Метод наименьших квадратов

    Задача подбора коэффициентов

    Метод наименьших квадратов
    ,
    Метод наименьших квадратов
    ,
    Метод наименьших квадратов
    сводится к решению общей задачи при T=f, U=sin(x), V=cos(y), W=1/x,
    Метод наименьших квадратов
    .

Если мы распространим МНК на случай с m параметрами,

Метод наименьших квадратов
(4.48)

то путем рассуждений, аналогичных приведенным выше, получим следующую систему линейных уравнений:

Метод наименьших квадратов
(4.49)

где

Метод наименьших квадратов



Содержание раздела