Двовимірна модель навчання у спайкових нейронних мережах з гомеостазом та навчанням з підкріпленням

Viacheslav M. Osaulenko

Анотація


Cкладність молекулярних механізмів, що підтримують формування пам’яті, заважає побудові простих, але вичерпних моделей для ефективної симуляції великих нейронних мереж. Запропоновано феноменологічну модель правила навчання, що описує силу зв’язку через повільну і швидку змінні. Їх взаємодія дозволяє об’єднати навчання без учителя та навчання з підкріпленням. Результати симуляції свідчать про стабільність сили зв’язку завдяки взаємодії двох змінних та швидкій формі гомеостатичної пластичності. Мультиплікативна форма масштабування ваг зберігає патерни пам’яті статистично більш частих стимулів. Подібним чином до підходу допоміжних слідів модель відслідковує нещодавні зміни сили зв’язку між нейронами і дозволяє їх підсилити. Наведено міркування про можливу біологічну інтерпретацію запропонованої моделі, що включає швидке переміщення рецепторів до мембрани і стабілізацію їх у кластери.

Ключові слова


правила навчання; спайкові нейронні мережі; навчання з підкріпленням

Повний текст:

PDF

Посилання


Maass W. Networks of spiking neurons: The third generation of neural network models // Neural Networks. – Vol. 10, N. 9. – 1997. – P. 1659–1671.

Zenke F. Synaptic Plasticity in Neural Networks Needs Homeostasis with a Fast Rate Detector / F. Zenke, G. Hennequin, W. Gerstner // PLoS Comput. Biol. – 2013. – Vol. 9, N 11. e1003330, 11 p.

Fauth M. Opposing Effects of Neuronal Activity on Structural Plasticity / M. Fauth, C. Tetzlaff // Front. Neuroanat. – Vol. 10, N June. – 2016. – P. 1–18.

Brea J. Does computational neuroscience need new synaptic learning paradigms? / J. Brea and W. Gerstner // Curr. Opin. Behav. Sci. – 2016. – P. 1–6.

Frémaux N. Neuromodulated Spike-Timing-Dependent Plasticity and Theory of Three-Factor Learning Rules / N. Frémaux and W. Gerstner // Front. Neural Circuits. – Vol. 9, N. 85. – 2016. – 85 p.

Vidibida O.K. Vihidnij potik integrujuchogo nejrona z vtratami / O.K. Vidibida // arXiv:1501.04874 [q-bio.NC]. – 2015. – 11 p.

(https://github.com/hronoses/ProjectOne)

He K. Distinct Eligibility Traces for LTP and LTD in Cortical Synapses / K. He, M. Huertas, S. Z. Hong, X. Tie, J. W. Hell, H. Shouval, and A. Kirkwood // Neuron. – Vol. 88, N 3. – 2015. – P. 528–538.

Abbott L.F. Synaptic plasticity: taming the beast / L.F. Abbott, S.B. Nelson // Nat. Neurosci. – Vol. 3, N November. – 2000. – P. 1178–1183.

Chistiakova M. Heterosynaptic Plasticity: Multiple Mechanisms and Multiple Roles // M. Chistiakova, N.M. Bannon, M. Bazhenov and M. Volgushev // Neurosci. – Vol. 20, N. 5. –2014. – P. 483–498.

Turrigiano G.G. Homeostatic plasticity in the developing nervous system / G.G.Turrigiano, S.B. Nelson // Nat. Rev. Neurosci. – 2004. – Vol. 5. – P. 97–107.

Ibata K. Rapid Synaptic Scaling Induced by Changes in Postsynaptic Firing / K. Ibata, Q. Sun, G.G. Turrigiano // Neuron. – Vol. 57, N. 6. – 2008. – P. 819–826.

Zenke F. Diverse synaptic plasticity mechanisms orchestrated to form and retrieve memories in spiking neural networks / F. Zenke, E.J. Agnes, W. Gerstner // Nat. Commun. – Vol. 6. – 2015. – P. 6922.

Nadel L. Memory formation, consolidation and transformation / L. Nadel, A. Hupbach, R. Gomez , K. Newman-Smith // Neurosci. Biobehav. Rev. – Vol. 36, N 7. – 2012. – P. 1640–1645.

Pfister J.-P. Triplets of Spikes in a Model of Spike Timing-Dependent Plasticity / J.-P. Pfister, W. Gerstner // J. Neurosci. – Vol. 26, N 38. – 2006. – P. 9673–9682.

Gjorgjieva J. A triplet spike-timing-dependent plasticity model generalizes the Bienenstock-Cooper-Munro rule to higher-order spatiotemporal correlations / J. Gjorgjieva, C. Clopath, J. Audet, J.-P. Pfister // Proc. Natl. Acad. Sci. U.S.A. – Vol. 108, N 48. – 2011. – P. 19383–8.

Yeung L.C. Synaptic homeostasis and input selectivity follow from a calcium-dependent plasticity model / L.C. Yeung, H.Z. Shouval, B.S. Blais, L.N. Cooper // Proc. Natl. Acad. Sci. U. S. A. – Vol. 101, N 41. – 2004. – P. 14943–8.

Leighton A.H. The Wiring of Developing Sensory Circuits: From Patterned Spontaneous Activity to Synaptic Plasticity Mechanisms / A.H. Leighton, C. Lohmann // Front. Neural Circuits. – Vol. 10, N September. – 2016. – P. 1–13.

Oja E. A simplified neuron model as a principal component analyzer / Oja E. // J. Math. Biol. – Vol. 15, N 3. – 1982. – P. 267–273.

Redondo R.L. Making memories last: the synaptic tagging and capture hypothesis / R.L. Redondo, R.G.M. Morris // Nat. Rev. Neurosci. – Vol. 12, N 1. – 2011. – P. 17–30.

Song I. Regulation of AMPA receptors during synaptic plasticity / I. Song, R.L. Huganir // Trends Neurosci. – Vol. 25, N 11. – 2002. – P. 578–588.

Esteban J.A. PKA phosphorylation of AMPA receptor subunits controls synaptic trafficking underlying plasticity / J.A. Esteban, S.-H. Shi, C. Wilson, M. Nuriya, R.L. Huganir, R. Malinow // Nat. Neurosci. – Vol. 6, N 2. – 2003. – P. 136–143.

Lee S.-J.R. Activation of CaMKII in single dendritic spines during long-term potentiation / S.-J.R. Lee, Y. Escobedo-Lozoya, E.M. Szatmari, R. Yasuda // Nature. – Vol. 458, N 7236. – 2009. – P. 299–304.

Shouval H.Z. Clusters of interacting receptors can stabilize synaptic efficacies / H.Z. Shouval // Proc. Natl. Acad. Sci. U.S.A. – Vol. 102, N 40. – 2005. – P. 14440–14445.


Пристатейна бібліографія ГОСТ


1. Maass W. Networks of spiking neurons: The third generation of neural network models // Neural Networks. – Vol. 10, N. 9. – 1997. – P. 1659–1671.

2. Zenke F. Synaptic Plasticity in Neural Networks Needs Homeostasis with a Fast Rate Detector / F. Zenke, G. Hennequin, W. Gerstner // PLoS Comput. Biol. – 2013. – Vol. 9, N 11. e1003330, 11 p.

3. Fauth M. Opposing Effects of Neuronal Activity on Structural Plasticity / M. Fauth, C. Tetzlaff // Front. Neuroanat. – Vol. 10, N June. – 2016. – P. 1–18.

4. Brea J. Does computational neuroscience need new synaptic learning paradigms? / J. Brea and W. Gerstner // Curr. Opin. Behav. Sci. – 2016. – P. 1–6.

5. Frémaux N. Neuromodulated Spike-Timing-Dependent Plasticity and Theory of Three-Factor Learning Rules / N. Frémaux and W. Gerstner // Front. Neural Circuits. – Vol. 9, N. 85. – 2016. – 85 p.

6. Вiдибiда О.К. Вихiдний потiк iнтегруючого нейрона з втратами / О.К. Вiдибiда // arXiv:1501.04874 [q-bio.NC]. – 2015. – 11 p.

7. (https://github.com/hronoses/ProjectOne)

8. He K. Distinct Eligibility Traces for LTP and LTD in Cortical Synapses / K. He, M. Huertas, S. Z. Hong, X. Tie, J. W. Hell, H. Shouval, and A. Kirkwood // Neuron. – Vol. 88, N 3. – 2015. – P. 528–538.

9. Abbott L.F. Synaptic plasticity: taming the beast / L.F. Abbott, S.B. Nelson // Nat. Neurosci. – Vol. 3, N November. – 2000. – P. 1178–1183.

10. Chistiakova M. Heterosynaptic Plasticity: Multiple Mechanisms and Multiple Roles // M. Chistiakova, N.M. Bannon, M. Bazhenov and M. Volgushev // Neurosci. – Vol. 20, N. 5. –2014. – P. 483–498.

11. Turrigiano G.G. Homeostatic plasticity in the developing nervous system / G.G.Turrigiano, S.B. Nelson // Nat. Rev. Neurosci. – 2004. – Vol. 5. – P. 97–107.

12. Ibata K. Rapid Synaptic Scaling Induced by Changes in Postsynaptic Firing / K. Ibata, Q. Sun, G.G. Turrigiano // Neuron. – Vol. 57, N. 6. – 2008. – P. 819–826.

13. Zenke F. Diverse synaptic plasticity mechanisms orchestrated to form and retrieve memories in spiking neural networks / F. Zenke, E.J. Agnes, W. Gerstner // Nat. Commun. – Vol. 6. – 2015. – P. 6922.

14. Nadel L. Memory formation, consolidation and transformation / L. Nadel, A. Hupbach, R. Gomez , K. Newman-Smith // Neurosci. Biobehav. Rev. – Vol. 36, N 7. – 2012. – P. 1640–1645.

15. Pfister J.-P. Triplets of Spikes in a Model of Spike Timing-Dependent Plasticity / J.-P. Pfister, W. Gerstner // J. Neurosci. – Vol. 26, N 38. – 2006. – P. 9673–9682.

16. Gjorgjieva J. A triplet spike-timing-dependent plasticity model generalizes the Bienenstock-Cooper-Munro rule to higher-order spatiotemporal correlations / J. Gjorgjieva, C. Clopath, J. Audet, J.-P. Pfister // Proc. Natl. Acad. Sci. U.S.A. – Vol. 108, N 48. – 2011. – P. 19383–8.

17. Yeung L.C. Synaptic homeostasis and input selectivity follow from a calcium-dependent plasticity model / L.C. Yeung, H.Z. Shouval, B.S. Blais, L.N. Cooper // Proc. Natl. Acad. Sci. U. S. A. – Vol. 101, N 41. – 2004. – P. 14943–8.

18. Leighton A.H. The Wiring of Developing Sensory Circuits: From Patterned Spontaneous Activity to Synaptic Plasticity Mechanisms / A.H. Leighton, C. Lohmann // Front. Neural Circuits. – Vol. 10, N September. – 2016. – P. 1–13.

19. Oja E. A simplified neuron model as a principal component analyzer / Oja E. // J. Math. Biol. – Vol. 15, N 3. – 1982. – P. 267–273.

20. Redondo R.L. Making memories last: the synaptic tagging and capture hypothesis / R.L. Redondo, R.G.M. Morris // Nat. Rev. Neurosci. – Vol. 12, N 1. – 2011. – P. 17–30.

21. Song I. Regulation of AMPA receptors during synaptic plasticity / I. Song, R.L. Huganir // Trends Neurosci. – Vol. 25, N 11. – 2002. – P. 578–588.

22. Esteban J.A. PKA phosphorylation of AMPA receptor subunits controls synaptic trafficking underlying plasticity / J.A. Esteban, S.-H. Shi, C. Wilson, M. Nuriya, R.L. Huganir, R. Malinow // Nat. Neurosci. – Vol. 6, N 2. – 2003. – P. 136–143.

23. Lee S.-J.R. Activation of CaMKII in single dendritic spines during long-term potentiation / S.-J.R. Lee, Y. Escobedo-Lozoya, E.M. Szatmari, R. Yasuda // Nature. – Vol. 458, N 7236. – 2009. – P. 299–304.

24. Shouval H.Z. Clusters of interacting receptors can stabilize synaptic efficacies / H.Z. Shouval // Proc. Natl. Acad. Sci. U.S.A. – Vol. 102, N 40. – 2005. – P. 14440–14445.





DOI: https://doi.org/10.20535/SRIT.2308-8893.2017.1.12

Посилання

  • Поки немає зовнішніх посилань.