심층 신경망: 정의 및 작동 방식

심층 신경망은 딥 러닝 모델에서 사용되는 주요 기술 아키텍처를 구성하는 개념입니다. 이러한 구조는 인공지능의 기본인 인공신경망에 대한 일반적인 개념을 이해하지 않고는 이해할 수 없다.

신경망은 자동차 번호판, 노래, 얼굴, 목소리, 심지어 부엌에 있는 과일까지 인식하는 등 수천 가지 용도로 사용됩니다. 그것들은 특히 유용한 기술이며 최근에야 실용화되었다는 사실에도 불구하고 인류의 미래가 될 것입니다.

다음 우리는 인공 신경망에 대한 아이디어와 심층적인, 작동 방식, 훈련 방식 및 이를 구성하는 서로 다른 뉴런 간의 상호 작용이 발생하는 방식을 이해합니다.

• 관련 기사: "인지과학이란 무엇인가? 기본 아이디어 및 개발 단계"

심층 신경망이란 무엇이며 그 특징은 무엇입니까?

심층 신경망은 딥 러닝 또는 딥 러닝에 사용되는 가장 중요한 기술 아키텍처 중 하나. 이러한 특정 인공 네트워크는 모든 종류의 패턴을 인식할 때 근본적인 측면을 구성하기 때문에 최근 몇 년 동안 어지러울 정도로 성장했습니다. 인공 지능은 이러한 특정 네트워크의 작동 덕분에 존재합니다. 본질적으로 그것들은 우리의 두뇌가 작동하는 방식의 복제품이 됩니다. 수학.

심층 신경망이 무엇인지 자세히 알아보기 전에 먼저 인공 신경망이 일반적으로 작동하는 방식과 용도를 이해해야 합니다. 엘신경망은 최근 몇 년 동안 큰 영향을 미친 "머신 러닝"의 한 분야입니다., 프로그래머와 컴퓨터 과학자가 챗봇과 같은 것을 만들 수 있도록 도와줍니다. 우리가 그들과 대화할 때 우리가 실제 인간과 대화하고 있다고 생각하게 만듭니다.

자율주행차에도 인공신경망이 활용됐다. 우리의 얼굴을 인식하고 우리가 원하는 것으로 바꾸는 모바일 애플리케이션 등 기능. 그것의 적용 가능성은 매우 광범위하며 현대 인공 지능의 기초 역할을 하고 우리의 일상에 끝없는 유익한 용도를 가지고 있습니다.

인공 신경망

우리가 부엌에 있고 아주 간단한 작업인 오렌지를 찾기로 결정했다고 상상해 봅시다.. 우리는 오렌지를 매우 쉽게 식별하는 방법을 알고 있으며 바나나, 사과, 배와 같이 주방에서 찾을 수 있는 다른 과일과 오렌지를 구별하는 방법도 알고 있습니다. 처럼? 우리의 두뇌는 오렌지의 전형적인 특성을 매우 잘 알고 있기 때문입니다. 크기, 모양, 색상, 냄새... 이것들은 우리가 찾는 데 사용하는 모든 매개변수입니다. 주황색.

인간에게는 간단한 작업이지만... 컴퓨터도 할 수 있나요? 대답은 '예'입니다. 원칙적으로 동일한 매개변수를 정의하고 "인공 뉴런"이라고 부를 수 있는 노드 또는 무언가에 값을 할당하는 것으로 충분합니다. 우리는 크기, 무게, 모양, 색상 또는 우리가 이 과일에 귀속시키는 다른 매개변수를 표시하여 오렌지가 어떤 것인지 뉴런에 알려줄 것입니다. 이 정보를 가지고 있으면 뉴런은 오렌지가 제시되었을 때 오렌지를 식별하는 방법을 알 것으로 예상됩니다.

매개변수를 잘 선택했다면 이러한 특성을 고려하여 오렌지와 오렌지가 아닌 것을 쉽게 구별할 수 있습니다. 어떤 과일의 이미지가 제시되면 해당 뉴런은 특성을 검색합니다. 오렌지와 연결하고 "오렌지" 범주에 포함할지 아니면 "기타" 범주에 포함할지 결정합니다. 과일". 통계적 용어로 매개변수 그래프에서 현재 진행 중인 항목에 해당하는 영역을 찾는 것입니다. 동일한 크기, 모양, 색상, 무게 및 향을 공유하는 모든 과일 조각을 포함하는 영역을 찾고 있습니다. 오렌지.

처음에는 이 모든 것이 코딩하기 매우 쉬운 것처럼 들리지만 사실 그렇습니다. 색상과 모양이 다르기 때문에 오렌지와 바나나 또는 사과를 구별하는 데 매우 효과적입니다. 하지만 자몽을 선물한다면 어떨까요? 그리고 아주 큰 귤? 오렌지와 완벽하게 혼동될 수 있는 과일입니다. 인공 뉴런이 오렌지와 자몽을 스스로 구별할 수 있을까요? 대답은 '아니오'이며 실제로는 동일하다고 생각됩니다.

한 층의 인공 뉴런만 사용하는 것, 또는 동일한 것은 단순 뉴런만 먼저 사용하는 것의 문제점은 인식할 수 있어야 하는 것과 공통점이 많은 무언가가 제시될 때 매우 부정확한 결정 경계를 생성합니다., 그러나 실제로는 그렇지 않습니다. 자몽과 같이 오렌지처럼 보이는 것을 제시하면 그 과일이 아니더라도 오렌지로 식별합니다.

이러한 결정 경계는 그래프 형태로 표시되는 경우 항상 선형입니다. 단일 인공 뉴런, 즉 매개변수가 통합된 단일 노드 사용 구체적이지만 그 이상으로 학습할 수 없는 경우 매우 가까운 결정 경계를 얻을 수 있습니다. 퍼지다. 주요 제한 사항은 두 가지 통계 방법, 특히 다중 클래스 회귀 및 로지스틱 회귀(logistic regression)는 의심스러울 때 우리가 기대했던 것과 다른 것을 포함한다는 것을 의미합니다. 식별합니다.

모든 과일을 "오렌지"와 "오렌지 아님"으로 나눈다면 하나의 뉴런만 사용하여 바나나, 배, 사과, 수박 및 크기, 색상, 모양, 향 등이 오렌지와 일치하지 않는 과일은 "아니오" 범주에 넣습니다. 오렌지". 그러나 자몽과 감귤은 "오렌지" 범주에 속하게 되어 제대로 설계되지 않은 작업을 수행합니다.

그리고 우리가 오렌지와 자몽에 대해 이야기할 때 개와 늑대, 암탉과 닭, 책과 공책에 대해 잘 이야기할 수 있습니다. 이러한 상황은 단순한 일련의 "ifs..."("if...")가 하나와 다른 것을 명확하게 구별하기에 충분하지 않은 경우입니다. 다른. 더 복잡한 비선형 시스템이 필요합니다. 이는 서로 다른 요소를 구분할 때 더 정확합니다. 유사점 사이에 차이점이 있을 수 있음을 고려하는 것. 이것은 신경망이 들어오는 곳입니다.

더 많은 레이어, 인간의 뇌와 더 유사

인공 신경망은 이름에서 알 수 있듯이 다음에서 영감을 받은 전산 인공 모델입니다. 인간 뇌의 신경망에서 실제로 이 기관의 기능을 모방하는 네트워크 생물학적. 이 시스템은 신경 기능에서 영감을 얻었으며 주요 응용 프로그램은 다음을 인식하는 것입니다. 모든 종류의 패턴: 안면 인식, 음성 인식, 지문, 필기, 번호판… 패턴 인식은 거의 모든 것에 적용됩니다..

뉴런이 다르기 때문에 적용되는 파라미터도 다양하고 더 높은 정밀도를 얻을 수 있습니다. 이러한 신경망은 항목을 범주로 구분할 수 있는 시스템입니다. 차이는 미묘할 수 있으며 비선형 방식으로 구분할 수 있습니다. 그렇지 않으면 불가능합니다. 방법.

단일 노드, 단일 뉴런으로 정보를 처리할 때 수행되는 작업은 다중 클래스 회귀입니다. 더 많은 뉴런을 추가함으로써 각각의 뉴런에는 자체 비선형 활성화 기능이 있으므로 더 간단한 언어로 번역하면 다음과 같은 결정 경계를 갖게 됩니다. 더 정확하게, 곡선 모양으로 그래픽으로 표시되고 "오렌지"와 "오렌지 아님"을 구별할 때 더 많은 특성을 고려하여 해당 예를 계속합니다.

이러한 결정 경계의 곡률은 신경망에 추가하는 뉴런 레이어 수에 직접적으로 의존합니다. 시스템을 더욱 복잡하고 정밀하게 만드는 이러한 뉴런 계층은 사실상 심층 신경망입니다. 원칙적으로 우리가 가진 심층 신경망의 계층이 많을수록 프로그램이 인간의 두뇌와 비교될 때 더 정확하고 유사합니다.

요컨대, 신경망은 그 이상도 이하도 아닙니다. 우리 인간이 하는 것과 매우 유사한 방식으로 보다 정확한 결정을 내릴 수 있는 지능형 시스템. 인간은 경험을 바탕으로 환경에서 배웁니다. 예를 들어, 오렌지와 자몽의 경우로 돌아가서 본 적이 없다면 오렌지로 완벽하게 착각할 것입니다. 우리가 그것에 익숙해지면 그것을 식별하고 오렌지와 구별하는 방법을 이미 알게 될 것입니다.

가장 먼저 수행되는 작업은 신경망에 일부 매개변수를 제공하여 식별하는 방법을 배우기를 원하는 것이 어떤 것인지 알 수 있도록 하는 것입니다. 그런 다음 학습 또는 훈련 단계가 오므로 점점 더 정확해지고 점진적으로 오차 범위가 작아집니다. 이것은 오렌지와 다른 과일로 신경망을 제시할 때입니다. 훈련 단계에서 그들은 주황색인 경우와 주황색이 아닌 경우가 주어지며, 정답을 맞혔는지 확인하고 정답을 알려줍니다.

최대한 현실에 가깝고 다양한 시도를 하도록 노력하겠습니다.. 이런 식으로 우리는 실제 사례가 도착했을 때 신경망이 작동하도록 돕고 있으며 인간이 실생활에서 하는 것과 같은 방식으로 적절하게 구별하는 방법을 알고 있습니다. 교육이 적절했다면 좋은 인식 매개변수를 선택하고 신경망은 패턴 인식 성공률이 매우 높을 것입니다. 높은.

• 다음 항목에 관심이 있을 수 있습니다. "뉴런은 어떻게 작동합니까?"

그들은 무엇이며 정확히 어떻게 작동합니까?

이제 우리는 신경망이 무엇인지에 대한 일반적인 아이디어를 보았고 그것이 무엇이며 어떻게 작동하는지 더 완전히 이해하게 될 것입니다. 인간 두뇌의 뉴런 에뮬레이터는 작동하며 심층 신경망은 이 모든 것에서 어디에 페인트를 칠합니까? 프로세스.

다음과 같은 신경망이 있다고 상상해 봅시다. 세 개의 인공 뉴런 계층이 있습니다. 첫 번째 레이어에는 4개의 뉴런 또는 노드가 있고 두 번째 레이어에는 3개가 있고 마지막 레이어에는 2개만 있다고 가정해 보겠습니다. 이것은 모두 이해하기 쉬운 인공 신경망의 예입니다.

첫 번째 계층은 데이터를 수신하는 계층입니다., 즉 소리, 이미지, 향기, 전기 자극 등의 형태로 올 수 있는 정보... 이 첫 번째 레이어는 입력 레이어이며 나중에 다음으로 보낼 수 있도록 모든 데이터를 수신하는 역할을 합니다. 레이어. 신경망을 훈련하는 동안 이것은 우리가 먼저 작업할 계층이 될 것입니다. 귀하가 얼마나 잘 예측하거나 귀하에게 제공된 정보를 식별하는지 확인하기 위해 사용할 데이터 준다.

가상 모델의 두 번째 계층은 첫 번째 계층과 마지막 계층의 중간에 있는 숨겨진 계층입니다., 마치 우리의 신경망이 샌드위치인 것처럼. 이 예에서는 숨겨진 레이어가 하나만 있지만 원하는 만큼 많이 있을 수 있습니다. 우리는 50, 100, 1000 또는 심지어 50,000개의 레이어에 대해 이야기할 수 있습니다. 본질적으로 이러한 숨겨진 계층은 우리가 심층 신경망이라고 부르는 신경망의 일부입니다. 깊이가 클수록 신경망이 더 복잡해집니다.

마지막으로 출력 레이어인 예제의 세 번째 레이어가 있습니다. 이 레이어는 이름에서 알 수 있듯이 이전 레이어에서 정보를 받아 결정을 내리고 답변이나 결과를 제공하는 역할을 담당합니다..

신경망에서 각 인공 뉴런은 다음과 같은 모든 뉴런에 연결됩니다. 우리의 예에서 우리는 4, 3 및 2 뉴런의 3개 레이어가 있다고 주석을 달았습니다. 입력 레이어의 4는 다음과 같습니다. 은닉층의 3과 은닉층의 3과 출력의 2와 연결되어 총 18개가 됩니다. 사이.

이 모든 뉴런은 다음 계층의 뉴런과 연결되어 입력->숨김->출력 방향으로 정보를 보냅니다.. 숨겨진 계층이 더 많다면 더 많은 연결에 대해 이야기하고 숨겨진 계층에서 숨겨진 계층으로 정보가 출력 계층에 도달할 때까지 정보를 보냅니다. 출력 레이어는 일단 정보를 수신하면 수신한 정보와 처리 방법에 따라 결과를 제공합니다.

우리가 알고리즘, 즉 신경망을 훈련시킬 때 방금 설명한 이 과정은 여러 번 수행될 것입니다. 우리는 일부 데이터를 네트워크에 전달할 것이고, 그 결과가 우리에게 주는 것을 볼 것이고, 그것을 분석하고 우리가 기대한 결과와 비교할 것입니다. 기대한 것과 얻은 것 사이에 큰 차이가 있다면 그것은 오차 범위가 크다는 것을 의미하므로 약간의 수정이 필요합니다.

인공 뉴런은 어떻게 작동합니까?

이제 우리는 신경망 내에서 작동하는 뉴런의 개별 기능을 이해할 것입니다. 뉴런은 이전 뉴런으로부터 정보 입력을 받습니다. 이 뉴런이 각각 이전 계층의 3개 뉴런에서 오는 3개의 정보 입력을 수신한다고 가정해 보겠습니다. 차례로 이 뉴런은 출력을 생성합니다. 이 경우 다음 레이어의 뉴런에만 연결되어 있다고 가정해 보겠습니다.

이 뉴런이 이전 계층의 3개 뉴런과 연결될 때마다 이전 뉴런이 우리에게 보내는 값인 "x" 값을 가져옵니다.; 또한 이 연결의 가중치인 "w" 값을 가집니다. 가중치는 하나의 연결을 다른 연결보다 더 중요하게 만드는 데 도움이 되는 값입니다. 요컨대, 이전 뉴런과의 각 연결에는 "x" 및 "w" 값이 곱해집니다(x·w).

우리는 또한 가질 것입니다 특정 뉴런이 다른 뉴런보다 더 쉽게 활성화되도록 하는 오류의 수인 "b"로 표시되는 "바이어스" 또는 바이어스라는 값. 또한, 우리는 뉴런 내에 활성화 기능을 가지고 있으며, 이는 다른 요소의 분류 정도를 결정합니다(p. g., oranges)는 선형이 아닙니다. 자체적으로 각 뉴런은 고려해야 할 매개 변수가 다르기 때문에 전체 시스템, 즉 신경망이 비선형 방식으로 분류됩니다.

뉴런은 활성화해야 하는지 여부를 어떻게 알 수 있습니까? 즉, 다음 계층으로 정보를 보내야 하는지 언제 알 수 있습니까? 음, 이 결정은 다음 방정식에 의해 결정됩니다.

이 공식은 뉴런이 이전 레이어로부터 받고 있는 "x"의 모든 값을 곱한 모든 가중치 "w"의 합이 만들어져야 한다는 의미가 됩니다. 여기에 바이어스 "b"가 추가됩니다.

이 방정식의 결과는 활성화 함수로 전송됩니다., 이것은 단순히 이 방정식의 결과가 a보다 크면 특정 숫자를 입력하면 뉴런은 다음 계층으로 신호를 보내고, 그보다 작으면 신호를 보내지 않습니다. 보내다 따라서 인공 뉴런이 다음과 같이 뉴런에 정보를 보낼지 여부를 결정하는 방법은 다음과 같습니다. 우리가 "y"라고 부르는 출력을 통해 계층화하고, 출력은 다음의 입력 "x"가 됩니다. 뉴런.

그리고 전체 네트워크를 어떻게 훈련합니까?

가장 먼저 수행되는 작업은 이전에 설명했듯이 첫 번째 레이어에 데이터를 전달하는 것입니다. 이 계층은 숨겨진 계층 또는 심층 신경망인 다음 계층으로 정보를 보냅니다. 이 계층의 뉴런은 수신된 정보에 따라 활성화되거나 비활성화됩니다. 마지막으로, 출력 레이어는 우리에게 결과를 제공할 것이며, 신경망이 올바르게 수행할 작업을 학습했는지 확인하기 위해 기다리고 있던 값과 비교할 것입니다.

그가 잘 배우지 못했다면 우리는 또 다른 상호 작용을 할 것입니다. 다시 정보를 제공하고 신경망이 어떻게 작동하는지 확인할 것입니다.. 얻은 결과에 따라 "b" 값, 즉 각 뉴런의 바이어스가 조정되고 "w"는 각 뉴런과의 각 연결 가중치가 오차를 줄이기 위해 조정됩니다. 그 오차가 얼마나 큰지 알아보기 위해 다음과 같은 다른 방정식을 사용할 것입니다.

이 방정식은 평균 제곱근 오차입니다. 우리는 네트워크가 상호작용에서 우리에게 준 값인 y(x)의 합에서 우리가 줄 것으로 기대했던 값인 "a"를 제곱으로 올릴 것입니다. 마지막으로, 이 합계에 1/2n을 곱할 것입니다. "n"은 신경망을 훈련시키기 위해 보낸 상호 작용의 수입니다.

예를 들어 다음과 같은 값이 있다고 가정합니다.

첫 번째 열 "y(x)"는 우리가 테스트한 네 가지 상호 작용 각각에서 네트워크가 우리에게 제공한 것을 나타냅니다. 알 수 있듯이 우리가 얻은 값은 테스트된 각 상호 작용에 대해 원하는 값인 두 번째 열 "a"의 값과 일치하지 않습니다. 마지막 열은 각 상호 작용의 오류를 나타냅니다.

앞서 언급한 공식을 적용하고 여기에서 이러한 데이터를 사용합니다. 이 경우 n = 4(4 상호 작용)은 3.87의 값을 제공하며, 이는 신경망이 이들에서 갖는 평균 제곱 오차입니다. 순간. 오류를 알면 지금 해야 할 일은 이전에 언급한 대로 편향과 각 뉴런의 가중치와 이러한 방식으로 오류가 발생하는 의도와의 상호 작용 줄이다.

이 시점에서 엔지니어와 컴퓨터 과학자는 그래디언트 디센트라는 알고리즘 이를 통해 각 인공 뉴런의 편향과 가중치를 테스트하고 수정할 수 있는 값을 얻을 수 있습니다. 따라서 이러한 방식으로 점점 더 낮은 오류가 얻어지고 예측 또는 결과에 접근합니다. 원했다. 그것은 테스트의 문제이며 더 많은 상호 작용이 이루어질수록 더 많은 훈련이 있을 것이고 네트워크는 더 많이 배울 것입니다.

신경망이 적절하게 훈련되면 정확하고 신뢰할 수 있는 예측과 식별을 제공할 때입니다. 이 시점에서 우리는 각 뉴런에 다음 값을 갖는 네트워크를 갖게 될 것입니다. 통제된 편향과 시스템을 만드는 결정 능력을 가진 정의된 가중치 일하다.

참고문헌:

• 푸이그, A. [AMP 테크] (2017년 7월 28일). 신경망은 어떻게 작동합니까? [동영상 파일]. 에서 복구 https://www.youtube.com/watch? v=IQMoglp-fBk&ab_channel=AMPTech
• 산타올랄라, J. [자신에게 브이로그를 선물하세요] (2017년 4월 11일) 씨엔시아클립 챌린지 - 신경망이란? [동영상 파일]. https://www.youtube.com/watch? v=rTpr6DuY4LU&ab_channel=데이트브이로그
• 슈미트후버, J. (2015). "신경망의 딥러닝: 개요". 신경망. 61: 85–117. arXiv: 1404.7828. 도이: 10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509