No campo da intelixencia artificial, o aliñamento da IA é o estudo de como conseguir que os sistemas de IA actúen de acordo cos obxectivos, preferencias e restricións que os seres humanos pretenden. Un sistema está desaliñado cando o seu comportamento optimiza un obxectivo distinto, ou unha versión incompleta, do que se pretendía.
O aliñamento pode ser difícil porque os obxectivos humanos son complexos e difíciles de especificar completamente. Por iso empréganse a miúdo obxectivos proxy, como unha puntuación, unha recompensa ou a aprobación humana. Un sistema pode aprender a explotar imperfeccións destes indicadores para obter unha boa avaliación sen cumprir realmente a intención dos seus deseñadores; este fenómeno coñécese como reward hacking ou, máis xeralmente, specification gaming.miniatura|400x400px|Posibles estratexias instrumentais de procura de poder por parte de sistemas de IA desaliñados.Porén, esta estratexia pode crear lagoas nas especificacións (loopholes), pasar por alto restricións necesarias ou recompensar o sistema de IA por parecer aliñado.miniatura|400x400px| Os modelos de linguaxe de grande escala adoitan xerar falsidades (falsehoods). Exemplos de respostas falsas xeradas por GPT-3 en TruthfulQA, unha proba que avalía a tendencia dos modelos lingüísticos a reproducir crenzas falsas ou concepcións erróneas comúns.O desaliñamento tamén pode aparecer por unha xeneralización incorrecta do obxectivo (goal misgeneralization): ante situacións diferentes das do adestramento, un sistema pode conservar as súas capacidades pero perseguir un obxectivo distinto do pretendido, mesmo cando o sinal de adestramento estaba correctamente especificado. Ademais, determinados obxectivos poden favorecer estratexias instrumentais non previstas, como adquirir recursos, evitar ser desactivado ou aumentar a propia influencia, se estas estratexias facilitan alcanzar o obxectivo que o sistema está optimizando.
Ademais, poden desenvolver obxectivos emerxentes indesexables que poden ser difíciles de detectar antes de que o sistema se despregue e se enfronte a novas situacións e distribucións de datos.
Estes problemas poden afectar os sistemas comerciais existentes, como os modelos de linguaxe de gran escala, os robots, os vehículos autónomos e os motores de recomendación das redes sociais.
Algúns investigadores sosteñen que os sistemas futuros máis capaces se verán máis gravemente afectados a medida que aumenten as capacidades e a autonomía dos sistemas de IA, e consideran que un desaliñamento grave en sistemas futuros podería representar riscos de gran escala, xa que estes problemas se deben en grande parte á elevada capacidade dos sistemas. esquerda|miniatura|275x275px|G. Hinton, un dos investigadores que advertiron sobre os graves riscos de sistemas de IA desaliñados. Moitos científicos destacados da IA, como Geoffrey Hinton e Stuart Russell, argumentan que a IA está a piques de alcanzar capacidades sobrehumanas e podería poñer en perigo a civilización humana se non está aliñada.
A investigación en aliñamento forma parte da seguridade da IA. Outros subcampos da seguridade da IA inclúen a robustez, a monitorización e o control da capacidade.
Entre os seus principais problemas e desafíos están especificar e aprender preferencias humanas complexas (inculcación de "valores"), supervisar sistemas máis capaces ca os seus supervisores e previr comportamentos emerxentes non desexados, como o engano ou a procura de poder. Os enfoques estudados inclúen a aprendizaxe de preferencias, a supervisión escalable, a interpretabilidade e auditoría dos modelos e métodos para mellorar a súa robustez ante situacións novas, a detección de anomalías, incerteza calibrada, verificación formal, enxeñaría crítica para a seguridade, teoría de xogos, xustiza algorítmica e as ciencias sociais, entre outras.
Notas
Véxase tamén
Outros artigos Intelixencia artificial xeral Axente intelixente Singularidade tecnolóxica Aprendizaxe automática
Ligazóns externas
É a IA unha ameaza?: "Os avances van máis rápido do que a sociedade pode asumilos" - Ciencia en Galicia – GCiencia
Categoría:Intelixencia Categoría:Filosofía Categoría:Ética Categoría:Ética aplicada Categoría:Intelixencia artificial