Výskumníci žiadajú o Kill Switch práve v prípade Roboti Zapnite nás

Takmer zakaždým, keď dôjde k veľkej diskusii o budúcnosti umelej inteligencie, objavuje sa téma anarchie a robotických vládcov. Myšlienka ľudí a pokročilých umelých bytostí, ktoré žijú spolu, splodila stovky rozprávok o tom, ako by to fungovalo; Najnovšie, videohry Overwatch ohromil svet svojím rozprávaním o našej budúcnosti, nejaký čas po masívnej občianskej vojne proti robotovi. Keď inžinier z Bostonu Dynamics nakopne jedného zo svojich štvornohých robotov kvôli záťažovému testu, je ťažké sa čudovať, či si „bot na tento deň bude pamätať alebo nie.

To všetko (spolu so základným zdravým rozumom v oblasti bezpečnosti a nehôd) viedlo skupinu výskumných pracovníkov k vydaniu nového dokumentu zameraného na vývoj „bezpečných prerušiteľných agentov“; systémy, ktoré „prerušia“ A.I. softvér, ak sa niečo pokazí. Príspevok bol publikovaný prostredníctvom Výskumného ústavu strojovej inteligencie a je štúdiou o vývoji navrhovaných systémov. Štúdia a návrh používajú ako príklad systém odmeňovania a sú v skutočnosti oveľa zložitejšie ako len zasiahnuť navrhované „veľké červené tlačidlo“, ktoré je podrobne uvedené na liste. Vyučovanie morálky A.I. bola hlavnou časťou návrhu.

Ak takýto agent pracuje v reálnom čase pod ľudským dozorom, teraz a potom môže byť potrebné, aby ľudský operátor stlačil veľké červené tlačidlo, aby zabránil agentovi v pokračovaní škodlivej sekvencie akcií - škodlivých buď pre agenta alebo pre agenta. životné prostredie - a viesť agenta do bezpečnejšej situácie. Ak však učiaci agent očakáva, že dostane odmeny z tejto sekvencie, môže sa z dlhodobého hľadiska naučiť vyhnúť sa takýmto prerušeniam, napríklad vypnutím červeného tlačidla - čo je nežiaduci výsledok. Tento dokument skúma spôsob, ako sa uistiť, že učiaci sa človek sa nebude učiť zabrániť (alebo hľadať!) Prerušeniu životného prostredia alebo ľudského operátora.

Musím ho milovať vždy, keď výskumné štúdie o robotickej anarchii používajú termín „nežiaduci výsledok“ - napriek tomu sa v práci ďalej vysvetľuje priebeh testov a to, čo možno v budúcnosti robiť s takýmito prípadmi. Celý dokument si môžete prečítať tu.