根据《中华人民共和国会计法》第四十二条，对于不依法设置会计账簿的行为，由县级以上人民政府财政部门责令限期改正，可以对单位并处三千元以上五万元以下的罚款；对其直接负责的主管人员和其他直接责任人员，可以处二千元以上二万元以下的罚款；如果是国家工作人员，还应当由其所在单位或者有关单位依法给予行政处分。因此，选项C“罚款”是正确的行政处罚措施。选项A“警告”和B“通报批评”虽然在某些情况下可能是行政违法行为的处罚方式，但在《会计法》中具体指明的处罚措施是罚款和行政处分，而不是警告或通报批评。选项D“开除涉及的公职人员”是行政处分的一种，但“开除”通常用于国家工作人员，而不直接在《会计法》中作为行政处罚列出。所以，根据提供的信息，只有选项C是直接与会计法相符的正确答案。