行政处罚一般由相关政府部门负责执行。具体的刑事责任追究需要符合刑事法律程序，主要由检察机关和法院进行处理。此外，在国际层面上，非法采矿行为可能触犯国际法和国际公约，相关国际组织和国家间机构也会追究责任。
非法采矿行为在不同国家和地区的法律规定会有所不同，下面是一般情况下可能的追究责任方式：
1. 行政处罚：非法采矿者可能面临行政处罚，如罚款、没收违法所得、责令停产停业等措施。行政处罚一般由相关政府部门负责执行。
2. 刑事责任：非法采矿行为涉及到刑事犯罪的，可能会面临刑事审判和刑罚。具体的刑事责任追究需要符合刑事法律程序，主要由检察机关和法院进行处理。
3. 民事责任：非法采矿行为可能给他人造成人身伤害、财产损失等损害，相关被害人可以通过民事诉讼向非法采矿者追偿。
此外，在国际层面上，非法采矿行为可能触犯国际法和国际公约，相关国际组织和国家间机构也会追究责任。