DSP分为通用DSP及专用DSP两种。
通用DSP的结构和电脑很相似，也是控制器+运算器+存储器结构，但有两点重要的不同：
(1) 运算器做专门的设计，适应某一类型数字信号处理的特别需求；
(2) 程序存储器和数据存储器分开，而不是像（目前的）电脑那样程序和数据共用存储器。这样程序存储器和数据存储器可以分别设计，比如采用不同的字长，以适应数字信号处理器的“控制程序相对简单而数据量巨大”的特点。
通用DSP相对于专用DSP来说，长处是灵活性强，只要重新编写软件，即可以实现不同的功能，有利于用户今后的升级；
短处是对于某一个应用来说，总有相当一部分的硬件及软件是“多余”的，如果要达到相当于专用DSP的处理速度，势必导致体积增大，成本上升，耗电量增加。
