不一定。但是加my会特指我的外祖母或者外祖父。不加则表示也有可能是别人的外祖母或者外祖父。with是介词，后面可以接名词，也可以接名词短语等。