얕은 신경망 참고 문헌

[Batt92] Battiti, R., “First and second order methods for learning: Between steepest descent and Newton's method,” Neural Computation, Vol. 4, No. 2, 1992, pp. 141–166.

[Beal72] Beale, E.M.L., “A derivation of conjugate gradients,” in F.A. Lootsma, Ed., Numerical methods for nonlinear optimization, London: Academic Press, 1972.

[Bren73] Brent, R.P., Algorithms for Minimization Without Derivatives, Englewood Cliffs, NJ: Prentice-Hall, 1973.

[Caud89] Caudill, M., Neural Networks Primer, San Francisco, CA: Miller Freeman Publications, 1989.

AI Expert Magazine의 논문 모음집으로, 신경망 분야에 대한 훌륭한 개론입니다. 논문에서는 최소한의 수학을 사용하여 주요 결과를 명확하게 설명합니다. 몇 가지 양질의 추가 참고 자료도 포함되어 있습니다.

[CaBu92] Caudill, M., and C. Butler, Understanding Neural Networks: Computer Explorations, Vols. 1 and 2, Cambridge, MA: The MIT Press, 1992.

학생들이 신경망 “실습”을 진행할 수 있도록 만들어진 2권짜리 워크북입니다. 학부 4학년 또는 대학원 1학년 수준의 실험 교육과정을 위한 교재입니다. IBM PC 및 Apple Macintosh 컴퓨터용 소프트웨어가 포함되어 있습니다. 이해하기 쉽고 따라가기 쉬운 좋은 교재로, 지금까지 수학식으로만 표현되어 왔던 분야를 이해하는 데 도움이 됩니다.

[Char92] Charalambous, C.,“Conjugate gradient algorithm for efficient training of artificial neural networks,” IEEE Proceedings, Vol. 139, No. 3, 1992, pp. 301–310.

[ChCo91] Chen, S., C.F.N. Cowan, and P.M. Grant, “Orthogonal least squares learning algorithm for radial basis function networks,” IEEE Transactions on Neural Networks, Vol. 2, No. 2, 1991, pp. 302–309.

방사형 기저 함수 분야에 대한 훌륭한 개론입니다. 논문에서는 최소한의 수학을 사용하여 주요 결과를 명확하게 설명합니다. 몇 가지 양질의 추가 참고 자료도 포함되어 있습니다.

[ChDa99] Chengyu, G., and K. Danai, “Fault diagnosis of the IFAC Benchmark Problem with a model-based recurrent neural network,” Proceedings of the 1999 IEEE International Conference on Control Applications, Vol. 2, 1999, pp. 1755–1760.

[DARP88] DARPA Neural Network Study, Lexington, MA: M.I.T. Lincoln Laboratory, 1988.

이 책에는 1988년 당시 신경망 분야에 대한 지식이 집약되어 있습니다. 신경망의 이론적인 기반을 제시하고 당대의 활용 분야를 소개합니다. 연상 메모리, 순환 신경망, 비전, 음성 인식, 로보틱스를 다루고 있습니다. 마지막으로, 시뮬레이션 툴과 구현 기술도 제시합니다.

[DeHa01a] De Jesús, O., and M.T. Hagan, “Backpropagation Through Time for a General Class of Recurrent Network,” Proceedings of the International Joint Conference on Neural Networks, Washington, DC, July 15–19, 2001, pp. 2638–2642.

[DeHa01b] De Jesús, O., and M.T. Hagan, “Forward Perturbation Algorithm for a General Class of Recurrent Network,” Proceedings of the International Joint Conference on Neural Networks, Washington, DC, July 15–19, 2001, pp. 2626–2631.

[DeHa07] De Jesús, O., and M.T. Hagan, “Backpropagation Algorithms for a Broad Class of Dynamic Networks,” IEEE Transactions on Neural Networks, Vol. 18, No. 1, January 2007, pp. 14 -27.

임의 연결 신경망의 기울기 및 야코비 행렬 계산을 위한 상세한 알고리즘을 제공하는 논문입니다. 시간 역전파 알고리즘과 실시간 순환 학습 알고리즘을 모두 다루고 있습니다.

[DeSc83] Dennis, J.E., and R.B. Schnabel, Numerical Methods for Unconstrained Optimization and Nonlinear Equations, Englewood Cliffs, NJ: Prentice-Hall, 1983.

[DHH01] De Jesús, O., J.M. Horn, and M.T. Hagan, “Analysis of Recurrent Network Training and Suggestions for Improvements,” Proceedings of the International Joint Conference on Neural Networks, Washington, DC, July 15–19, 2001, pp. 2632–2637.

[Elma90] Elman, J.L., “Finding structure in time,” Cognitive Science, Vol. 14, 1990, pp. 179–211.

이 논문은 10장 “순환 신경망”에서 설명하는 엘만 신경망에 대한 훌륭한 개론입니다.

[FeTs03] Feng, J., C.K. Tse, and F.C.M. Lau, “A neural-network-based channel-equalization strategy for chaos-based communication systems,” IEEE Transactions on Circuits and Systems I: Fundamental Theory and Applications, Vol. 50, No. 7, 2003, pp. 954–957.

[FlRe64] Fletcher, R., and C.M. Reeves, “Function minimization by conjugate gradients,” Computer Journal, Vol. 7, 1964, pp. 149–154.

[FoHa97] Foresee, F.D., and M.T. Hagan, “Gauss-Newton approximation to Bayesian regularization,” Proceedings of the 1997 International Joint Conference on Neural Networks, 1997, pp. 1930–1935.

[GiMu81] Gill, P.E., W. Murray, and M.H. Wright, Practical Optimization, New York: Academic Press, 1981.

[GiPr02] Gianluca, P., D. Przybylski, B. Rost, P. Baldi, “Improving the prediction of protein secondary structure in three and eight classes using recurrent neural networks and profiles,” Proteins: Structure, Function, and Genetics, Vol. 47, No. 2, 2002, pp. 228–235.

[Gros82] Grossberg, S., Studies of the Mind and Brain, Drodrecht, Holland: Reidel Press, 1982.

이 책에는 1980년까지의 Grossberg의 이론적 정신생리학 연구 결과가 집약된 글이 실려 있습니다. 글마다 주요 요점을 설명하는 서론이 포함되어 있습니다.

[HaDe99] Hagan, M.T., and H.B. Demuth, “Neural Networks for Control,” Proceedings of the 1999 American Control Conference, San Diego, CA, 1999, pp. 1642–1656.

[HaJe99] Hagan, M.T., O. De Jesus, and R. Schultz, “Training Recurrent Networks for Filtering and Control,” Chapter 12 in Recurrent Neural Networks: Design and Applications, L. Medsker and L.C. Jain, Eds., CRC Press, pp. 311–340.

[HaMe94] Hagan, M.T., and M. Menhaj, “Training feed-forward networks with the Marquardt algorithm,” IEEE Transactions on Neural Networks, Vol. 5, No. 6, 1999, pp. 989–993, 1994.

이 논문에서는 최초의 신경망용 Levenberg-Marquardt 알고리즘을 찾아볼 수 있습니다. 논문에서는 일반적인 경사하강 역전파 방법보다 10배 내지 100배 빠른 속도로 신경망을 훈련시키는 이 알고리즘의 이론 및 응용 사례를 설명합니다.

[HaRu78] Harrison, D., and Rubinfeld, D.L., “Hedonic prices and the demand for clean air,” J. Environ. Economics & Management, Vol. 5, 1978, pp. 81-102.

이 데이터 세트는 Carnegie Mellon University에서 관리하는 StatLib 라이브러리에서 가져왔습니다.

[HDB96] Hagan, M.T., H.B. Demuth, and M.H. Beale, Neural Network Design, Boston, MA: PWS Publishing, 1996.

기본적인 신경망 아키텍처 및 학습 규칙에 대한 명확하고 상세한 개론서입니다. 책에서는 신경망의 수학적 분석, 신경망 훈련 방법, 실용적인 공학 문제에 대한 신경망 응용을 강조하여 다루고 있습니다. 예제 프로그램과 강사 안내서, 수업용 OHP가 제공됩니다.

[HDH09] Horn, J.M., O. De Jesús and M.T. Hagan, “Spurious Valleys in the Error Surface of Recurrent Networks - Analysis and Avoidance,” IEEE Transactions on Neural Networks, Vol. 20, No. 4, pp. 686-700, April 2009.

순환 신경망의 오차 곡면에 나타나는 스퓨리어스 협곡에 대해 설명하는 논문입니다. 이러한 협곡에 갇히지 않도록 훈련 알고리즘을 수정하는 방법도 설명합니다.

[Hebb49] Hebb, D.O., The Organization of Behavior, New York: Wiley, 1949.

신경망 아키텍처와 최초의 학습 규칙을 제안한 책입니다. 학습 규칙은 셀의 모음이 하나의 개념을 형성하는 방법에 관한 이론을 형성하는 데 사용됩니다.

[Himm72] Himmelblau, D.M., Applied Nonlinear Programming, New York: McGraw-Hill, 1972.

[HuSb92] Hunt, K.J., D. Sbarbaro, R. Zbikowski, and P.J. Gawthrop, Neural Networks for Control System — A Survey,” Automatica, Vol. 28, 1992, pp. 1083–1112.

[JaRa04] Jayadeva and S.A.Rahman, “A neural network with O(N) neurons for ranking N numbers in O(1/N) time,” IEEE Transactions on Circuits and Systems I: Regular Papers, Vol. 51, No. 10, 2004, pp. 2044–2051.

[Joll86] Jolliffe, I.T., Principal Component Analysis, New York: Springer-Verlag, 1986.

[KaGr96] Kamwa, I., R. Grondin, V.K. Sood, C. Gagnon, Van Thich Nguyen, and J. Mereb, “Recurrent neural networks for phasor detection and adaptive identification in power system control and protection,” IEEE Transactions on Instrumentation and Measurement, Vol. 45, No. 2, 1996, pp. 657–664.

[Koho87] Kohonen, T., Self-Organization and Associative Memory, 2nd Edition, Berlin: Springer-Verlag, 1987.

이 책에서는 몇 가지 학습 규칙을 분석합니다. Kohonen 학습 규칙을 소개하고 자기 조직화 특징 맵에 적용합니다. 연상 신경망도 다룹니다.

[Koho97] Kohonen, T., Self-Organizing Maps, Second Edition, Berlin: Springer-Verlag, 1997.

이 책에서는 자기 조직화 맵의 역사, 기본 내용, 이론, 응용 및 하드웨어를 다룹니다. 방대한 참고문헌도 찾아볼 수 있습니다.

[LiMi89] Li, J., A.N. Michel, and W. Porod, “Analysis and synthesis of a class of neural networks: linear systems operating on a closed hypercube,” IEEE Transactions on Circuits and Systems, Vol. 36, No. 11, 1989, pp. 1405–1422.

이 논문에서는 폐쇄 하이퍼큐브에서 정의된 1차 선형 미분 방정식으로 기술되는 신경망 클래스를 살펴봅니다. 연구 대상 시스템은 Hopfield 모델의 기본 구조를 가지고 있지만 분석과 구현이 보다 용이합니다. 이 논문에서는 점근적으로 안정적인 평형점 집합과 불안정한 평형점 집합을 구분하는 효율적인 방법을 소개합니다. 예제가 제시됩니다. Li, et. al.의 방법은 사용자 안내서의 고급 항목에 구현되어 있습니다.

[Lipp87] Lippman, R.P., “An introduction to computing with neural nets,” IEEE ASSP Magazine, 1987, pp. 4–22.

이 논문에서는 패턴 분류를 위해 사용할 수 있는 6개 신경망 모델에 대한 검토를 통해 신경망 분야를 개괄합니다. 논문에서는 뉴런과 같은 간단한 컴포넌트를 사용하여 기존의 분류 및 군집화 알고리즘을 어떻게 수행할 수 있는지 보여줍니다. 읽기 쉬운 논문입니다.

[MacK92] MacKay, D.J.C., “Bayesian interpolation,” Neural Computation, Vol. 4, No. 3, 1992, pp. 415–447.

[Marq63] Marquardt, D., “An Algorithm for Least-Squares Estimation of Nonlinear Parameters,” SIAM Journal on Applied Mathematics, Vol. 11, No. 2, June 1963, pp. 431–441.

[McPi43] McCulloch, W.S., and W.H. Pitts, “A logical calculus of ideas immanent in nervous activity,” Bulletin of Mathematical Biophysics, Vol. 5, 1943, pp. 115–133.

고정 임계값을 가진 이진 뉴런 모델을 설명하는 고전 논문입니다. 이러한 뉴런으로 구성된 신경망은 논리 연산을 수행할 수 있습니다.

[MeJa00] Medsker, L.R., and L.C. Jain, Recurrent neural networks: design and applications, Boca Raton, FL: CRC Press, 2000.

[Moll93] Moller, M.F., “A scaled conjugate gradient algorithm for fast supervised learning,” Neural Networks, Vol. 6, 1993, pp. 525–533.

[MuNe92] Murray, R., D. Neumerkel, and D. Sbarbaro, “Neural Networks for Modeling and Control of a Non-linear Dynamic System,” Proceedings of the 1992 IEEE International Symposium on Intelligent Control, 1992, pp. 404–409.

[NaMu97] Narendra, K.S., and S. Mukhopadhyay, “Adaptive Control Using Neural Networks and Approximate Models,” IEEE Transactions on Neural Networks, Vol. 8, 1997, pp. 475–485.

[NaPa91] Narendra, Kumpati S. and Kannan Parthasarathy, “Learning Automata Approach to Hierarchical Multiobjective Analysis,” IEEE Transactions on Systems, Man and Cybernetics, Vol. 20, No. 1, January/February 1991, pp. 263–272.

[NgWi89] Nguyen, D., and B. Widrow, “The truck backer-upper: An example of self-learning in neural networks,” Proceedings of the International Joint Conference on Neural Networks, Vol. 2, 1989, pp. 357–363.

이 논문에서는 먼저 트럭 동특성을 학습하고 이후 하역장의 지정된 위치로 트럭을 되돌려놓는 방법을 학습한 2계층 신경망에 대해 설명합니다. 신경망은 이를 위해 고도로 비선형적인 제어 시스템 문제를 풉니다.

[NgWi90] Nguyen, D., and B. Widrow, “Improving the learning speed of 2-layer neural networks by choosing initial values of the adaptive weights,” Proceedings of the International Joint Conference on Neural Networks, Vol. 3, 1990, pp. 21–26.

Nguyen과 Widrow는 2계층 시그모이드/선형 신경망은 임의의 학습된 함수의 조각별 선형 근사를 수행하는 것이라고 볼 수 있음을 증명합니다. 특정 제약 조건하에서 생성된 가중치와 편향이 임의의 함수에 대한 함수 근사를 더 잘 형성하는 초기 신경망을 만든다는 사실이 제시됩니다. (순수하게 무작위적인 초기 조건 대신) Nguyen-Widrow 초기 조건을 사용하면 종종 훈련 시간을 크게 단축할 수 있습니다.

[Powe77] Powell, M.J.D., “Restart procedures for the conjugate gradient method,” Mathematical Programming, Vol. 12, 1977, pp. 241–254.

[Pulu92] Purdie, N., E.A. Lucas, and M.B. Talley, “Direct measure of total cholesterol and its distribution among major serum lipoproteins,” Clinical Chemistry, Vol. 38, No. 9, 1992, pp. 1645–1647.

[RiBr93] Riedmiller, M., and H. Braun, “A direct adaptive method for faster backpropagation learning: The RPROP algorithm,” Proceedings of the IEEE International Conference on Neural Networks, 1993.

[Robin94] Robinson, A.J., “An application of recurrent nets to phone probability estimation,” IEEE Transactions on Neural Networks, Vol. 5 , No. 2, 1994.

[RoJa96] Roman, J., and A. Jameel, “Backpropagation and recurrent neural networks in financial analysis of multiple stock market returns,” Proceedings of the Twenty-Ninth Hawaii International Conference on System Sciences, Vol. 2, 1996, pp. 454–460.

[Rose61] Rosenblatt, F., Principles of Neurodynamics, Washington, D.C.: Spartan Press, 1961.

이 서적은 퍼셉트론에 관한 Rosenblatt의 모든 결과를 제공합니다. 특히 Rosenblatt의 가장 중요한 결과인 퍼셉트론 학습 정리를 다룹니다.

[RuHi86a] Rumelhart, D.E., G.E. Hinton, and R.J. Williams, “Learning internal representations by error propagation,” in D.E. Rumelhart and J.L. McClelland, Eds., Parallel Data Processing, Vol. 1, Cambridge, MA: The M.I.T. Press, 1986, pp. 318–362.

역전파에 관한 기본적인 참고 문헌입니다.

[RuHi86b] Rumelhart, D.E., G.E. Hinton, and R.J. Williams, “Learning representations by back-propagating errors,” Nature, Vol. 323, 1986, pp. 533–536.

[RuMc86] Rumelhart, D.E., J.L. McClelland, and the PDP Research Group, Eds., Parallel Distributed Processing, Vols. 1 and 2, Cambridge, MA: The M.I.T. Press, 1986.

이 두 권은 신경망 분야에 대한 기술적인 개론을 제공하는 논문을 모은 책입니다. 섹션별로 다른 저자가 집필을 맡았습니다. 이 책이 출간되기 전까지의 신경망 분야에서의 거의 모든 연구가 요약되어 있습니다.

[Scal85] Scales, L.E., Introduction to Non-Linear Optimization, New York: Springer-Verlag, 1985.

[SoHa96] Soloway, D., and P.J. Haley, “Neural Generalized Predictive Control,” Proceedings of the 1996 IEEE International Symposium on Intelligent Control, 1996, pp. 277–281.

[VoMa88] Vogl, T.P., J.K. Mangis, A.K. Rigler, W.T. Zink, and D.L. Alkon, “Accelerating the convergence of the backpropagation method,” Biological Cybernetics, Vol. 59, 1988, pp. 256–264.

배치 처리, 적응적 학습률, 모멘텀과 같은 기법을 결합하면 역전파 학습의 속도를 높이고 얕은 국소 최솟값과 같은 오차 곡면에서의 작은 특징에 덜 민감해지게 할 수 있습니다.

[WaHa89] Waibel, A., T. Hanazawa, G. Hinton, K. Shikano, and K. J. Lang, “Phoneme recognition using time-delay neural networks,” IEEE Transactions on Acoustics, Speech, and Signal Processing, Vol. 37, 1989, pp. 328–339.

[Wass93] Wasserman, P.D., Advanced Methods in Neural Computing, New York: Van Nostrand Reinhold, 1993.

[WeGe94] Weigend, A. S., and N. A. Gershenfeld, eds., Time Series Prediction: Forecasting the Future and Understanding the Past, Reading, MA: Addison-Wesley, 1994.

[WiHo60] Widrow, B., and M.E. Hoff, “Adaptive switching circuits,” 1960 IRE WESCON Convention Record, New York IRE, 1960, pp. 96–104.

[WiSt85] Widrow, B., and S.D. Sterns, Adaptive Signal Processing, New York: Prentice-Hall, 1985.

적응형 신호 처리에 관한 기본적인 논문입니다.