行政处罚听证程序是否应当公开进行应该根据相关规定来判断。根据《中华人民共和国行政处罚法》第四十二条法律规定除涉及国家秘密、商业秘密或者个人隐私外，听证应公开举行。

根据《行政处罚法》第四十二条第一款规定了下列4种情况可以适用听证程序：

(1)责令停产停业;

(2)吊销许可证或者执照;

(3)较大数额罚款;

(4)其他较重的行政处罚。