你把 ing 当名词宾语就对了

你想太多了，会变成思想家甚至哲学家。doing是名词，不是动词；“避免做某事”不就是主观上不愿或不应实现吗？既然没有实现的需求和可能，那为什么非要用to do？这是英语中的固定用法，想那么多干嘛

to不对应中文的“去”(做某事)，
只是一个符号，表明后面的动词不受时态、人称等影响。只是用法上和我们的去做某事有点契合。
不定式，infinitive，是不受限制的意思，这个翻译有一定误导性。
I can swim. 这里swim也是一种不定式。
to do倾向于表达动作目的性、未来性、将来性
doing突出动作的过程性、持续性、一般性
mind me smoking here,是介意我抽烟这件事(包含整个过程以及和抽烟相关的影响)么，而不是一个简单的动作。
少操心的话，这就是约定俗成用法，合理性也是有的。